在 AI Toolkit 中探索模型

AI Toolkit 為各種生成式 AI 模型提供全面支援，包括小型語言模型 (SLM) 和大型語言模型 (LLM)。

在模型目錄中，您可以探索並使用來自多種託管來源的模型

• 託管於 GitHub 上的模型，例如 Llama3、Phi-3 和 Mistral，包含隨用隨付 (pay-as-you-go) 選項。
• 由發行者直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 以及 Google 的 Gemini。
• 託管於 Microsoft Foundry 上的模型。
• 從 Foundry Local、Ollama 和 ONNX 等儲存庫中本地下載的模型。
• 可透過自備模型 (BYOM) 整合存取的自訂自託管或外部部署模型。

直接從模型目錄將模型部署至 Foundry，簡化您的工作流程。

尋找模型

若要在模型目錄中尋找模型

1. 在活動列中選取 AI Toolkit 檢視

2. 選取 MODELS > Catalog 以開啟模型目錄

3. 使用篩選器來縮小可用模型的清單

   • 託管來源 (Hosted by)：AI Toolkit 支援 Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Ollama、Anthropic、Google、NVIDIA NIM 和 Windows AI API 作為模型託管來源。
   • 發行者 (Publisher)：AI 模型的發行者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
   • 功能 (Feature)：模型支援的功能，例如 Text Attachment (文字附件)、Image Attachment (影像附件)、Web Search (網路搜尋)、Structured Outputs (結構化輸出) 等。
   • 模型類型 (Model type)：篩選可在 CPU、GPU 或 NPU 上遠端或本地執行的模型。此篩選取決於本地可用性。
   • 微調支援 (Fine-tuning Support)：顯示可用於執行微調的模型。

4. 瀏覽不同類別的模型，例如

   • 熱門模型 (Popular Models)：精選的清單，包含在各種任務和領域中廣泛使用的模型。
   • GitHub 模型 (GitHub Models)：提供對託管於 GitHub 上熱門模型的輕鬆存取，最適合快速原型設計與實驗。
   • ONNX 模型 (ONNX Models)：針對本地執行進行了最佳化，可在 CPU、GPU 或 NPU 上執行。
   • Ollama 模型 (Ollama Models)：可透過 Ollama 在本地執行的熱門模型，支援透過 GGUF 量化進行 CPU 執行。

5. 或者，使用搜尋方塊按名稱或描述尋找特定模型

從目錄中新增模型

若要從模型目錄中新增模型

1. 在模型目錄中找到您想要新增的模型。

2. 選取模型卡片上的 Add (新增)

3. 新增模型的流程會根據供應商而略有不同

   • Foundry Local：Foundry Local 會下載並執行模型，根據您的網速可能需要幾分鐘。模型會在 localhost 頁面上提供，並新增至 AI Toolkit 中。深入了解請參閱 什麼是 Foundry Local？。

   • GitHub：AI Toolkit 會要求您的 GitHub 憑證以存取模型儲存庫。驗證後，模型會直接新增至 AI Toolkit 中。

     注意

     AI Toolkit 現在支援 GitHub 隨用隨付模型，因此您可以在超過免費層級限制後繼續工作。

   • ONNX：模型會從 ONNX 下載並新增至 AI Toolkit。

   • Ollama：模型會從 Ollama 下載並新增至 AI Toolkit。

     提示

     您可以稍後透過右鍵點擊模型並選擇 Edit (編輯) 來修改 API 金鑰，並在 ${HOME}/.aikt/models/my-models/yml 檔案中檢視加密的值。

   • OpenAI、Anthropic 和 Google：AI Toolkit 會提示您輸入 API 金鑰。

   • 自訂模型 (Custom models)：請參閱新增自訂模型章節以取得詳細說明。

新增完成後，模型會出現在樹狀檢視中的 MY RESOURCES/Models 下方，您可以在 Playground (遊樂場) 或 Agent Builder (代理程式產生器) 中使用它。

新增自訂模型

您也可以新增自己外部託管或本地執行的模型。有幾種可用的選項

• 從 Ollama 程式庫或自訂 Ollama 端點新增 Ollama 模型。
• 新增具有 OpenAI 相容端點的自訂模型，例如自託管模型或在雲端服務上執行的模型。
• 使用 AI Toolkit 的模型轉換工具新增自訂 ONNX 模型，例如來自 Hugging Face 的模型。

有幾種進入點可將模型新增至 AI Toolkit

• 從樹狀檢視的 MY RESOURCES 區段中，將游標懸停在 Models 上並選取 + 圖示。

• 從 Model Catalog 中，選取工具列上的 + Add model 按鈕。

• 從模型目錄的 Add Custom Models 區段中，選取 + Add Your Own Model。

新增 Ollama 模型

Ollama 可讓許多熱門的生成式 AI 模型透過 GGUF 量化在本地 CPU 上執行。如果您的本地機器已安裝 Ollama 並下載了模型，請將它們新增至 AI Toolkit 以便在模型遊樂場中使用。

在 AI Toolkit 中使用 Ollama 模型的先決條件

• AI Toolkit v0.6.2 或更新版本。
• Ollama (已於 Ollama v0.4.1 上測試)

若要將本地 Ollama 新增至 AI Toolkit

1. 從上述提到的任一進入點，選取 Add Ollama Model。

   

2. 接下來，選取 Select models from Ollama library。

   如果您在不同的端點啟動 Ollama 執行階段，請選擇 Provide custom Ollama endpoint 以指定 Ollama 端點。

3. 選取您想要新增至 AI Toolkit 的模型，然後選取 OK。

   注意

   AI Toolkit 僅顯示已在 Ollama 中下載且尚未新增至 AI Toolkit 的模型。若要從 Ollama 下載模型，您可以執行 ollama pull <model-name>。若要查看 Ollama 支援的模型清單，請參閱 Ollama 程式庫 或參考 Ollama 文件。

4. 您現在應該會在樹狀檢視的模型清單中看到一或多個已選取的 Ollama 模型。

   注意

   Ollama 模型目前不支援附件。AI Toolkit 使用 OpenAI 相容端點連線至 Ollama，且尚未支援附件功能。

使用 OpenAI 相容端點新增自訂模型

對於可透過網際網路以 OpenAI 相容端點存取的自託管或已部署模型，請將其新增至 AI Toolkit 以便在遊樂場中使用。

1. 從任一進入點，選取 Add Custom Model。
2. 輸入 OpenAI 相容端點 URL 及所需的資訊。

若要新增自託管或本地執行的 Ollama 模型

1. 在模型目錄中選取 + Add model。
2. 在模型快速挑選 (Quick Pick) 中，選擇 Ollama 或 Custom model。
3. 輸入模型所需的詳細資訊。

新增自訂 ONNX 模型

若要新增自訂 ONNX 模型，請先使用模型轉換工具將其轉換為 AI Toolkit 模型格式。轉換完成後，將模型新增至 AI Toolkit。

將模型部署至 Microsoft Foundry

直接從 AI Toolkit 將模型部署至 Microsoft Foundry。在雲端執行模型並透過端點進行存取。

1. 從模型目錄中，選取您想要部署的模型。

2. 選取 Deploy to Microsoft Foundry，可以從下拉式功能表選取，或直接從 Deploy to Microsoft Foundry 按鈕選取，如下圖所示

   

3. 在 model deployment (模型部署) 索引標籤中，輸入所需的資訊，例如模型名稱、描述以及任何其他設定，如下圖所示

   

4. 選取 Deploy to Microsoft Foundry 以開始部署程序。

5. 確認部署細節，然後選取 Deploy 以繼續。

6. 部署完成後，模型即可在 AI Toolkit 的 MY RESOURCES/Models 區段中使用，並且可以在遊樂場或代理程式產生器中使用。

選擇用於測試的模型

您可以在遊樂場中測試模型以進行聊天補全。

使用模型目錄中模型卡片上的動作

• Try in Playground (在遊樂場中試用)：將選定的模型載入到 Playground 進行測試。
• Try in Agent Builder (在代理程式產生器中試用)：將選定的模型載入到 Agent Builder 以建置 AI 代理程式。

管理模型

您可以在 AI Toolkit 檢視的 MY RESOURCES/Models 區段中管理您的模型

• 檢視已新增至 AI Toolkit 的模型清單。

• 右鍵點擊模型以存取選項，例如

  • Load in Playground (在遊樂場中載入)：將模型載入到 Playground 進行測試。
  • Copy Model Name (複製模型名稱)：將模型名稱複製到剪貼簿，以便在其他內容（如您的程式碼整合）中使用。
  • Refresh (重新整理)：重新整理模型組態，確保您擁有最新的設定。
  • Edit (編輯)：修改模型設定，例如 API 金鑰或端點。
  • Delete (刪除)：從 AI Toolkit 中移除模型。
  • About this Model (關於此模型)：檢視模型的詳細資訊，包括發行者、來源及支援的功能。

授權與登入

某些模型需要發行者或託管服務授權與帳戶登入。在這種情況下，在您於 模型遊樂場 中執行模型之前，系統會提示您提供此資訊。

您所學到的內容

在本文章中，您學習了如何：

• 在 AI Toolkit 中探索並管理生成式 AI 模型。
• 從各種來源尋找模型，包括 Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 及自訂端點。
• 將模型新增至您的工具組，並將其部署至 Microsoft Foundry。
• 新增自訂模型（包括 Ollama 和 OpenAI 相容模型），並在遊樂場或代理程式產生器中測試它們。
• 使用模型目錄檢視可用模型，並選擇最符合您 AI 應用需求的一款。
• 使用篩選器和搜尋功能快速尋找模型。
• 按類別瀏覽模型，例如「熱門」、「GitHub」、「ONNX」和「Ollama」。
• 使用模型轉換工具轉換並新增自訂 ONNX 模型。
• 在「MY RESOURCES/Models」中管理模型，包括編輯、刪除、重新整理及檢視詳細資訊。
• 啟動與停止 ONNX 伺服器，並複製本地模型的端點。
• 在測試某些模型之前，處理其授權與登入要求。