AI Toolkit 中的模型實驗室 (Playground)

AI Toolkit 實驗室提供了一個互動式環境，讓您能夠體驗生成式 AI 模型。您可以測試各種提示詞、調整模型參數、比較不同模型的回應，並透過附加各種類型的輸入檔案來探索多模態功能。

在實驗室中測試模型

如何進入實驗室

• 在 AI Toolkit 檢視中，選取 工具 (Tools) > 實驗室 (Playground)
• 從模型目錄的模型卡片中選取 在實驗室中嘗試 (Try in Playground)
• 從 我的模型 (MY Models) 雙擊一個模型，即可在實驗室中開啟它

若要在實驗室中測試模型，請遵循以下步驟

1. 在 模型偏好設定 (Model Preferences) 中，從下拉式清單選取一個模型。
2. (選用) 新增 系統提示詞 (System Prompt) 以引導模型回應。
3. (選用) 設定所選模型可用的模型參數。
4. 在聊天輸入框中輸入聊天提示詞

實驗室中的本地模型執行

AI Toolkit 支援在實驗室中執行本地模型。您可以從 模型偏好設定 (Model Preferences) 面板的模型下拉式清單中選取本地模型。

GitHub 按量付費 (Pay-as-you-go) 模型支援

AI Toolkit 現已支援 GitHub 按量付費模型，因此您可以在超過免費額度限制後繼續工作。

• 當您達到 GitHub 的模型使用限制時，AI Toolkit 會顯示警告，並附上 GitHub 付費使用說明文件的連結。

  

• 在您的 GitHub 設定 中開啟模型計費功能（需要登入您的 GitHub 帳號）。

• 啟用計費後，您可以繼續在實驗室或 Agent Builder 中使用模型，無需變更您的工作流程。

模型偏好設定

模型偏好設定 (Model Preferences) 面板允許您選取用於實驗室互動的模型、設定引導模型行為的系統提示詞，並為所選模型配置參數。

選取模型

模型偏好設定 (Model Preferences) 面板中的下拉式清單會顯示您已加入 AI Toolkit 的模型。您可以選取 瀏覽模型 (Browse Models) 來開啟模型目錄並加入更多模型。

系統提示詞

系統提示詞是預先定義的指令，用於引導模型的行為和回應風格。您可以在輸入文字區域中新增、編輯或刪除系統提示詞，以影響模型的生成回應方式。

配置推理參數

可用的參數取決於模型類型和發布者。常見參數包括：

• Temperature (溫度)：控制模型輸出的隨機性。數值越低，輸出越具確定性；數值越高，則變異性越大。
• Top P：透過限制所選 Token 的累計機率來控制輸出的多樣性。數值越低，回應越集中；數值越高，則允許更多樣化的輸出。
• Max Response Length (最大回應長度，以 Token 計算)：設定模型回應的最大 Token 數，用於限制生成文字的長度。
• Frequency Penalty (頻率懲罰)：降低模型在回應中重複相同 Token 的可能性。數值越高，越能抑制重複。
• Presence Penalty (存在懲罰)：鼓勵模型在回應中引入新的主題或概念。數值越高，越能提升生成文字的多樣性。

顯示資源使用量

對於本地模型，有一個額外的選項 顯示資源使用量 (Show resource usage)。啟用後，每次回應時都會顯示資源使用情況。

聊天提示詞

聊天提示詞是您提供給模型的輸入文字。您可以輸入問題、陳述或任何您希望模型回應的文字。模型會根據提供的提示詞以及配置的系統提示詞和參數來生成回應。

聊天提示輸入框中的可用功能

• 傳送 (Send)：將聊天提示詞提交給模型進行處理。
• 清除 (Clear)：清除聊天提示輸入框。
• 檔案附件 (File Attachment)：為多模態模型將檔案附加到聊天提示詞中。
• 影像附件 (Image Attachment)：為多模態模型將影像附加到聊天提示詞中。
• 網頁搜尋 (Web Search)：執行網頁搜尋以尋找與聊天提示詞相關的資訊。
• 模式切換 (Mode Switch)：在不同的 AI 功能使用模式之間切換。

切換模式

您可以在聊天提示輸入框中切換不同的模式：

• 使用模型原生支援的 AI 功能：此模式允許您使用所選模型的原生功能，例如網頁搜尋或檔案附件。
• 使用所有 AI 功能：此模式允許您使用 AI Toolkit 實作的 AI 功能（例如檔案附件），而不受模型原生功能的限制。

如果所選模型或 AI Toolkit 不支援某項功能，聊天提示輸入框上方會出現警告。該警告建議您切換到支援該功能的其他模型。

模型回應

模型回應會顯示在聊天提示輸入框上方。在您輸入聊天提示詞之前，實驗室會顯示一個歡迎畫面，其中包含三個入門提示詞，協助您開始使用實驗室。

模型回應區的可用功能

• 複製回應 (Copy Response)：將模型的回應文字複製到剪貼簿。
• 重新生成回應 (Regenerate Response)：根據相同的提示詞重新生成模型回應，或使用另一個模型重新生成回應。
• 複製程式碼 (Copy Code)：將回應中生成的程式碼複製到剪貼簿，或插入到新檔案中。
• 渲染 (Rendering)：實驗室支援渲染模型回應中的程式碼片段、影像、Markdown、LaTeX 和其他內容。
• Token 計數 (Token Count)：顯示模型回應中使用的 Token 數量。這有助於您了解模型的成本和效能。

資源使用量

當為本地模型啟用 顯示資源使用量 (Show resource usage) 時，每次回應都會顯示使用摘要。您也可以透過選取 使用量詳情 (Usage details) 切換到 效能分析 (Profiling) 詳細資訊。

工具列

實驗室中的工具列提供各種動作和功能的快速存取：

• 新建實驗室 (New Playground)：建立新的實驗室工作階段。
• 記錄 (History)：檢視、重新命名、刪除聊天記錄並切換至特定記錄。
• 自動命名 (Automatic Naming)：聊天工作階段的名稱會根據使用者提示詞自動產生。
• 比較 (Compare)：並排比較不同模型的回應。
• 檢視程式碼 (View Code)：檢視 LLM 整合後為聊天提示詞產生的程式碼。

比較模型回應

比較 (Compare) 功能允許您並排比較來自不同模型的回應。這對於評估不同模型在相同提示詞下的效能非常有用。

如何比較模型回應

1. 選取工具列中的 比較 (Compare) 按鈕。
2. 從下拉式清單中選擇您要比較的模型。
3. 在其中一個輸入框中輸入聊天提示詞。您的提示詞會自動複製到其他輸入框中。
4. 選取 傳送 (Send) 將提示詞提交給所有選定的模型。
5. 來自每個模型的回應會並排顯示，以便於比較。

對於您比較的每個模型，您可以：

• 將回應文字複製到剪貼簿。
• 為所選模型配置參數。
• 與所選模型繼續聊天。

您所學到的內容

在本文章中，您學習了如何：

• 使用 AI Toolkit 實驗室與生成式 AI 模型進行互動。
• 在實驗室中測試模型、配置系統提示詞和參數，並透過附加檔案來探索多模態功能。
• 使用「比較」功能評估不同模型在相同提示詞下的效能，並並排檢視回應。
• 使用聊天提示輸入框傳送提示詞、附加檔案或影像、執行網頁搜尋，以及在 AI 功能的模式之間切換。
• 檢視模型回應、複製或重新生成回應，以及渲染程式碼片段、影像、Markdown 和 LaTeX。
• 追蹤模型回應中的 Token 計數，以了解成本和效能。
• 使用「模型偏好設定」面板選取模型、設定系統提示詞並調整推理參數。
• 使用工具列建立新的實驗室工作階段、檢視和管理聊天記錄、自動命名工作階段、比較模型，以及檢視生成的程式碼。
• 管理聊天記錄，包括檢視、重新命名、刪除和切換工作階段。