現已釋出！閱讀關於 11 月新增功能和修復的內容。

在 AI Toolkit 中探索模型

AI Toolkit 為各種生成式 AI 模型提供全面支援，包括小型語言模型 (SLM) 和大型語言模型 (LLM)。

在模型目錄中，您可以探索和使用來自多個託管源的模型

  • 託管在 GitHub 上的模型，例如 Llama3、Phi-3 和 Mistral，包括按使用量付費的選項。
  • 由釋出商直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
  • 託管在 Microsoft Foundry 上的模型。
  • 從 Ollama 和 ONNX 等儲存庫下載到本地的模型。
  • 透過自帶模型 (BYOM) 整合訪問自定義的自託管模型或外部部署模型。

直接從模型目錄將模型部署到 Foundry，從而簡化您的工作流程。

注意

使用 Microsoft Foundry、Foundry Local 和已新增到 AI Toolkit 的 GitHub 模型以及 GitHub Copilot。有關更多資訊，請檢視 更改聊天對話的模型。

AI Toolkit model catalog displaying various generative AI models

查詢模型

在模型目錄中查詢模型

  1. 在活動欄中選擇 AI Toolkit 檢視

  2. 選擇 MODELS > Catalog 以開啟模型目錄

  3. 使用篩選器減少可用模型列表

    • 由...託管：AI Toolkit 支援 GitHub、ONNX、OpenAI、Anthropic、Google 作為模型託管源。
    • 釋出商：AI 模型的釋出商，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
    • 功能：模型支援的功能，例如 文字附件、影像附件、網路搜尋、結構化輸出 等。
    • 模型型別：篩選可以在 CPU、GPU 或 NPU 上遠端或本地執行的模型。此篩選器取決於本地可用性。
    • 微調支援：顯示可用於執行微調的模型。

  4. 按不同類別瀏覽模型，例如

    • 熱門模型 是一個精選列表，包含在各種任務和領域中廣泛使用的模型。
    • GitHub 模型 提供對託管在 GitHub 上的熱門模型的便捷訪問。最適合快速原型設計和實驗。
    • ONNX 模型 針對本地執行進行了最佳化，可以在 CPU、GPU 或 NPU 上執行。
    • Ollama 模型 是可以透過 Ollama 在本地執行的熱門模型，支援透過 GGUF 量化執行 CPU。

  5. 或者，使用搜索框按名稱或描述查詢特定模型

從目錄新增模型

從模型目錄新增模型

  1. 在模型目錄中找到要新增的模型。

  2. 在模型卡片上選擇 Add

  3. 新增模型的流程會根據提供商略有不同

    • GitHub：AI Toolkit 要求提供您的 GitHub 憑據才能訪問模型儲存庫。身份驗證後，模型將直接新增到 AI Toolkit 中。

      注意

      AI Toolkit 現在 支援 GitHub 按使用量付費模型，因此您可以在超出免費套餐限制後繼續工作。

    • ONNX：模型將從 ONNX 下載並新增到 AI Toolkit。

    • Ollama：模型將從 Ollama 下載並新增到 AI Toolkit。

      提示

      您之後可以透過右鍵單擊模型並選擇 Edit 來編輯 API 金鑰，並在 ${HOME}/.aikt/models/my-models/yml 檔案中檢視加密值。 AI Toolkit 介面截圖，顯示帶有 Try in Playground、Download 和 Load in Playground 選項的模型卡片。

    • OpenAI、Anthropic 和 Google：AI Toolkit 會提示您輸入 API 金鑰。

    • 自定義模型：有關詳細說明，請參閱 新增自定義模型 部分。

新增後，模型將顯示在樹狀檢視的 MY MODELS 下，您可以在 Playground 或 Agent Builder 中使用它。

新增自定義模型

您還可以新增自己託管在外部或本地執行的模型。有幾種可用選項

  • 從 Ollama 庫或自定義 Ollama 端點新增 Ollama 模型。
  • 新增具有 OpenAI 相容端點的自定義模型，例如自託管模型或在雲服務上執行的模型。
  • 使用 AI Toolkit 的 模型轉換工具新增自定義 ONNX 模型，例如來自 Hugging Face 的模型。

有幾個入口點可以將模型新增到 AI Toolkit

  • 從樹狀檢視中的 MY MODELS，將其懸停並選擇 + 圖示。 AI Toolkit 介面截圖，顯示模型目錄工具欄，突出顯示 + Add model 按鈕，指示使用者可以在何處單擊以新增新的自定義模型。

  • 從 Model Catalog，選擇工具欄上的 + Add model 按鈕。 AI Toolkit 介面截圖，顯示模型目錄工具欄，突出顯示 + Add model 按鈕。工具欄位於目錄檢視的頂部，並強調 + Add model 按鈕以指示使用者可以在何處單擊以新增新的自定義模型。

  • 從模型目錄中的 Add Custom Models 部分，選擇 + Add Your Own Model。 AI Toolkit 介面截圖，顯示模型目錄中的自定義模型部分。+ Add model 按鈕已突出顯示，指示使用者可以在何處單擊以新增新的自定義模型。

新增 Ollama 模型

Ollama 使許多流行的生成式 AI 模型能夠透過 GGUF 量化在本地使用 CPU 執行。如果您已在本地計算機上安裝了 Ollama 並下載了 Ollama 模型，則可以將其新增到 AI Toolkit 中，在模型 Playground 中使用。

在 AI Toolkit 中使用 Ollama 模型的前提條件

  • AI Toolkit v0.6.2 或更高版本。
  • Ollama (在 Ollama v0.4.1 上測試)

將本地 Ollama 新增到 AI Toolkit

  1. 從上述入口點之一中，選擇 Add Ollama Model。

    Select model type to add

  2. 接下來，選擇 Select models from Ollama library

    如果您在不同的端點啟動 Ollama 執行時，請選擇 Provide custom Ollama endpoint 來指定 Ollama 端點。

  3. 選擇要新增到 AI Toolkit 的模型，然後選擇 OK

    注意

    AI Toolkit 僅顯示已在 Ollama 中下載但尚未新增到 AI Toolkit 的模型。要從 Ollama 下載模型，可以執行 ollama pull <model-name>。要檢視 Ollama 支援的模型列表，請參閱 Ollama 庫或參考 Ollama 文件。

  4. 現在您應該能在樹狀檢視的模型列表中看到選定的 Ollama 模型。

    注意

    Ollama 模型尚不支援附件。由於我們透過其 OpenAI 相容端點連線到 Ollama，而它尚不支援附件。

新增具有 OpenAI 相容端點的自定義模型

如果您有一個自託管或已部署的模型，可透過網際網路使用 OpenAI 相容端點訪問，則可以將其新增到 AI Toolkit 並在 Playground 中使用。

  1. 從上述入口點之一中，選擇 Add Custom Model。
  2. 輸入 OpenAI 相容端點 URL 和所需資訊。

新增自託管或本地執行的 Ollama 模型

  1. 在模型目錄中選擇 + Add model。
  2. 在模型快速選擇中，選擇 Ollama 或 Custom model。
  3. 輸入所需詳細資訊以新增模型。

新增自定義 ONNX 模型

要新增自定義 ONNX 模型，請首先使用 模型轉換工具將其轉換為 AI Toolkit 模型格式。轉換後，將模型新增到 AI Toolkit。

將模型部署到 Microsoft Foundry

您可以直接從 AI Toolkit 將模型部署到 Microsoft Foundry。這允許您在雲中執行模型並透過端點訪問它。

  1. 在模型目錄中，選擇要部署的模型。

  2. 從下拉選單或直接從 Deploy to Microsoft Foundry 按鈕中選擇 Deploy to Microsoft Foundry，如下圖所示

    Screenshot of the AI Toolkit interface showing the model catalog with a model selected and the Deploy to Microsoft Foundry button highlighted.

  3. 在 model deployment 選項卡中，輸入所需資訊，例如模型名稱、描述以及任何其他設定，如下圖所示

    Screenshot of the AI Toolkit interface showing the model deployment tab with fields for model name, description, and additional settings.

  4. 選擇 Deploy to Microsoft Foundry 開始部署過程。

  5. 將出現一個對話方塊以確認部署。檢查詳細資訊並選擇 Deploy 繼續。

  6. 部署完成後，模型將在 AI Toolkit 的 MY MODELS 部分可用，您可以在 Playground 或 Agent Builder 中使用它。

選擇模型進行測試

您可以在 Playground 中測試模型以進行聊天補全。

使用模型目錄中模型卡片上的操作

  • Try in Playground：將選定的模型載入到 Playground 中進行測試。
  • Try in Agent Builder：將選定的模型載入到 Agent Builder 中以構建 AI 代理。

管理模型

您可以在 AI Toolkit 檢視的 MY MODELS 部分管理您的模型。在這裡您可以

  • 檢視已新增到 AI Toolkit 的模型列表。

  • 右鍵單擊模型以訪問選項，例如

    • Load in Playground：將模型載入到 Playground 中進行測試。
    • Copy Model Name：將模型名稱複製到剪貼簿，以便在其他上下文中使用，例如您的程式碼整合。
    • Refresh：重新整理模型配置，以確保您擁有最新的設定。
    • Edit：修改模型設定，例如 API 金鑰或端點。
    • Delete：從 AI Toolkit 中刪除模型。
    • About this Model：檢視有關模型的詳細資訊，包括其釋出商、來源和支援的功能。

  • 右鍵單擊 ONNX 部分標題以訪問選項，例如

    • Start Server：啟動 ONNX 伺服器以在本地執行 ONNX 模型。
    • Stop Server：停止正在執行的 ONNX 伺服器。
    • Copy Endpoint：將 ONNX 伺服器端點複製到剪貼簿，以便在其他上下文中使用，例如您的程式碼整合。

許可和登入

某些模型需要釋出商或許可服務許可證和賬戶才能登入。在這種情況下，在您可以在 模型 Playground 中執行模型之前，系統會提示您提供此資訊。

您學到了什麼

在本文中，您學習瞭如何

  • 在 AI Toolkit 中探索和管理生成式 AI 模型。
  • 從各種來源查詢模型，包括 GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定義端點。
  • 將模型新增到您的工具包並將其部署到 Microsoft Foundry。
  • 新增自定義模型，包括 Ollama 和 OpenAI 相容模型，並在 Playground 或 Agent Builder 中進行測試。
  • 使用模型目錄檢視可用模型，併為您的 AI 應用需求選擇最合適的模型。
  • 使用篩選器和搜尋快速查詢模型。
  • 按類別瀏覽模型，例如熱門模型、GitHub 模型、ONNX 模型和 Ollama 模型。
  • 使用模型轉換工具轉換和新增自定義 ONNX 模型。
  • 在 MY MODELS 中管理模型，包括編輯、刪除、重新整理和檢視詳細資訊。
  • 啟動和停止 ONNX 伺服器，併為本地模型複製端點。
  • 在測試某些模型之前，處理其許可和登入要求。
10/03/2025
© . This site is unofficial and not affiliated with Microsoft.