AI Toolkit 中的模型試驗場

AI Toolkit 試驗場提供了一個互動式環境，用於試驗生成式 AI 模型。您可以測試各種提示、調整模型引數、比較不同模型的響應，並透過附加不同型別的輸入檔案來探索多模態功能。

在試驗場中測試模型

要訪問試驗場

• 在 AI Toolkit 檢視中，選擇 “工具” > “試驗場”
• 在模型目錄的模型卡片中選擇 “在試驗場中嘗試”
• 雙擊 “我的模型” 中的一個模型，即可在試驗場中開啟它

要在試驗場中測試模型，請按照以下步驟操作

1. 在 “模型首選項” 中，從下拉列表中選擇一個模型。
2. （可選）新增 “系統提示” 以指導模型響應。
3. （可選）為所選模型配置可用的模型引數。
4. 在聊天輸入框中輸入聊天提示

GitHub 即用即付模型支援

AI Toolkit 現在支援 GitHub 即用即付模型，因此您在超出免費套餐限制後可以繼續工作。

• 當您達到 GitHub 的模型使用限制時，AI Toolkit 會顯示一條警告，並附上指向 GitHub 付費使用文件的連結。

  

• 在您的 GitHub 設定中為模型啟用計費（需要登入您的 GitHub 帳戶）。

• 啟用計費後，可繼續在試驗場或 Agent Builder 中使用模型，無需更改您的工作流程。

模型首選項

“模型首選項” 面板允許您選擇用於試驗場互動的模型、設定系統提示以指導模型的行為，併為所選模型配置引數。

選擇模型

“模型首選項” 面板中的下拉列表顯示了您已新增到 AI Toolkit 的模型。您可以選擇 “瀏覽模型” 來開啟模型目錄並新增更多模型。

系統提示

系統提示是一種預定義的指令，用於指導模型的行為和響應風格。您可以在輸入文字區域中新增、編輯或刪除系統提示，以影響模型生成響應的方式。

配置推理引數

可用引數取決於模型型別和釋出者。常見引數包括

• 溫度 (Temperature)：控制模型輸出的隨機性。值越低，輸出的確定性越高。值越高，可變性越大。
• Top P：透過限制所選詞元 (token) 的累積機率來控制輸出的多樣性。值越低，響應越集中。值越高，輸出更多樣化。
• 最大響應長度（詞元）：設定模型響應中的最大詞元數。這會限制生成文字的長度。
• 頻率懲罰 (Frequency Penalty)：降低模型在響應中重複相同詞元的可能性。值越高，越能抑制重複。
• 存在懲罰 (Presence Penalty)：鼓勵模型在響應中引入新的主題或概念。值越高，越能促進生成文字的多樣性。

聊天提示

聊天提示是您提供給模型的輸入文字。您可以輸入問題、陳述或任何希望模型響應的文字。模型會根據提供的提示以及配置的系統提示和引數來生成響應。

聊天提示輸入框中的可用功能

• 傳送：將聊天提示提交給模型進行處理。
• 清除：清空聊天提示輸入框。
• 檔案附件：為多模態模型向聊天提示附加檔案。
• 影像附件：為多模態模型向聊天提示附加影像。
• 網路搜尋：執行網路搜尋以查詢與聊天提示相關的資訊。
• 模式切換：在使用 AI 功能時切換不同的模式。

切換模式

您可以在聊天提示輸入框中切換不同的模式

• 使用模型原生支援的 AI 功能：此模式允許您使用所選模型的原生功能，例如網路搜尋或檔案附件。
• 使用所有 AI 功能：此模式允許您使用 AI Toolkit 實現的 AI 功能，例如檔案附件，而不管模型本身是否具備原生功能。

如果所選模型或 AI Toolkit 不支援某項功能，聊天提示輸入框上方會顯示警告。該警告會建議您切換到支援該功能的其他模型。

模型響應

模型響應顯示在聊天提示輸入框的上方。在您輸入聊天提示之前，試驗場會顯示一個歡迎螢幕，其中包含三個入門提示，幫助您開始使用試驗場。

模型響應區域的可用功能

• 複製響應：將模型的響應文字複製到剪貼簿。
• 重新生成響應：根據相同的提示重新生成模型的響應，或使用其他模型重新生成響應。
• 複製程式碼：將響應中生成的程式碼複製到剪貼簿或將其插入到新檔案中。
• 渲染：試驗場支援在模型響應中渲染程式碼片段、影像、Markdown、LaTex 和其他內容。
• 詞元計數：顯示模型響應中使用的詞元數量。這有助於您瞭解模型的成本和效能。

工具欄

試驗場中的工具欄提供了對各種操作和功能的快速訪問：

• 新建試驗場：建立一個新的試驗場會話。
• 歷史記錄：檢視、重新命名、刪除和切換聊天曆史記錄。
• 自動命名：聊天會話的名稱會根據使用者提示自動生成。
• 比較：並排比較不同模型的響應。
• 檢視程式碼：檢視透過 LLM 整合為聊天提示生成的程式碼。

比較模型響應

比較功能允許您並排比較不同模型的響應。這對於評估不同模型在相同提示下的效能非常有用。

要比較模型響應

1. 選擇工具欄中的比較按鈕。
2. 從下拉列表中選擇您想要比較的模型。
3. 在其中一個輸入框中輸入相同的聊天提示。您的提示將被複制到其他輸入框中。
4. 選擇傳送，將提示提交給所有選定的模型。
5. 每個模型的響應將並排顯示，以便於比較。

對於您正在比較的每個模型，您可以

• 將響應文字複製到剪貼簿。
• 為所選模型配置引數。
• 與所選模型繼續聊天。

您學到了什麼

在本文中，您學習瞭如何

• 使用 AI Toolkit 試驗場與生成式 AI 模型進行互動。
• 在試驗場中測試模型，配置系統提示和引數，並透過附加檔案探索多模態功能。
• 使用“比較”功能評估不同模型在相同提示下的效能，並並排檢視響應。
• 使用聊天提示輸入框傳送提示、附加檔案或影像、執行網路搜尋以及切換 AI 功能模式。
• 檢視模型響應，複製或重新生成響應，以及渲染程式碼片段、影像、Markdown 和 LaTeX。
• 跟蹤模型響應中的詞元計數以瞭解成本和效能。
• 使用“模型首選項”面板選擇模型、設定系統提示和調整推理引數。
• 使用工具欄建立新的試驗場會話、檢視和管理聊天曆史記錄、自動命名會話、比較模型以及檢視生成的程式碼。
• 管理聊天曆史記錄，包括檢視、重新命名、刪除和在會話之間切換。