參加你附近的 ，瞭解 VS Code 中的 AI 輔助開發。

探索 AI Toolkit 中的模型

AI Toolkit 為各種生成式 AI 模型提供全面支援，包括小型語言模型 (SLM) 和大型語言模型 (LLM)。

在模型目錄中，您可以探索和使用來自多個託管源的模型

  • 託管在 GitHub 上的模型，例如 Llama3、Phi-3 和 Mistral，包括按使用量付費選項。
  • 由釋出商直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
  • 託管在 Azure AI Foundry 上的模型。
  • 從 Ollama 和 ONNX 等倉庫本地下載的模型。
  • 透過自帶模型 (BYOM) 整合可訪問的自定義自託管或外部部署模型。

直接從模型目錄將模型部署到 Azure AI Foundry，從而簡化您的工作流程。

AI Toolkit model catalog displaying various generative AI models

查詢模型

要在模型目錄中查詢模型

  1. 在活動欄中選擇 AI Toolkit 檢視

  2. 選擇 模型 > 目錄 以開啟模型目錄

  3. 使用篩選器減少可用模型的列表

    • 託管方：AI Toolkit 支援 GitHub、ONNX、OpenAI、Anthropic、Google 作為模型託管源。
    • 釋出商：AI 模型的釋出商，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
    • 功能：模型支援的功能，例如 文字附件、影像附件、網路搜尋、結構化輸出 等。
    • 模型型別：篩選可以在 CPU、GPU 或 NPU 上遠端或本地執行的模型。此篩選器取決於本地可用性。
    • 微調支援：顯示可用於執行微調的模型。

  4. 按不同類別瀏覽模型，例如

    • 熱門模型 是跨各種任務和領域廣泛使用的模型的精選列表。
    • GitHub 模型 提供對託管在 GitHub 上的熱門模型的輕鬆訪問。它最適合快速原型設計和實驗。
    • ONNX 模型 針對本地執行進行了最佳化，可以在 CPU、GPU 或 NPU 上執行。
    • Ollama 模型 是可以透過 Ollama 在本地執行的熱門模型，透過 GGUF 量化支援 CPU。

  5. 或者，使用搜索框按名稱或描述查詢特定模型

從目錄新增模型

要從模型目錄新增模型

  1. 在模型目錄中找到要新增的模型。

  2. 選擇模型卡上的 新增

  3. 新增模型的流程會因提供商而略有不同

    • GitHub：AI Toolkit 會請求您的 GitHub 憑據以訪問模型倉庫。身份驗證後，模型將直接新增到 AI Toolkit。

      注意

      AI Toolkit 現在支援 GitHub 按使用量付費模型，因此您可以在超出免費層限制後繼續工作。

    • ONNX：模型從 ONNX 下載並新增到 AI Toolkit。

    • Ollama：模型從 Ollama 下載並新增到 AI Toolkit。

      提示

      您可以稍後透過右鍵單擊模型並選擇 編輯 來編輯 API 金鑰，並在 ${HOME}/.aikt/models/my-models/yml 檔案中檢視加密值。AI Toolkit 介面截圖，顯示模型卡，其中包含在 Playground 中試用、下載和在 Playground 中載入的選項。

    • OpenAI、Anthropic 和 Google：AI Toolkit 會提示您輸入 API 金鑰。

    • 自定義模型：有關詳細說明，請參閱新增自定義模型部分。

新增後，模型會出現在樹狀檢視的 我的模型 下，您可以在Playground 或Agent Builder 中使用它。

新增自定義模型

您還可以新增自己的外部託管或本地執行的模型。有幾種可用的選項

  • 從 Ollama 庫或自定義 Ollama 端點新增 Ollama 模型。
  • 新增具有 OpenAI 相容端點的自定義模型，例如自託管模型或在雲服務上執行的模型。
  • 使用 AI Toolkit 的模型轉換工具新增自定義 ONNX 模型，例如來自 Hugging Face 的模型。

有幾個入口點可以將模型新增到 AI Toolkit

  • 在樹狀檢視中，將滑鼠懸停在 我的模型 上，然後選擇 + 圖示。AI Toolkit 介面截圖，顯示模型目錄工具欄，其中突出顯示了“+ 新增模型”按鈕，指示使用者可以單擊此處新增新的自定義模型。

  • 在 模型目錄 中，從工具欄中選擇 + 新增模型 按鈕。AI Toolkit 介面截圖，顯示模型目錄工具欄，其中突出顯示了“+ 新增模型”按鈕。工具欄位於目錄檢視的頂部，“+ 新增模型”按鈕被強調以指示使用者可以單擊此處新增新的自定義模型。

  • 在模型目錄的 新增自定義模型 部分中，選擇 + 新增您自己的模型。AI Toolkit 介面截圖，顯示模型目錄中的“自定義模型”部分。其中突出顯示了“+ 新增模型”按鈕，指示使用者可以單擊此處新增新的自定義模型。

新增 Ollama 模型

Ollama 允許許多流行的生成式 AI 模型透過 GGUF 量化在 CPU 上本地執行。如果您的本地計算機上安裝了 Ollama 並下載了 Ollama 模型，您可以將它們新增到 AI Toolkit 以在模型 Playground 中使用。

在 AI Toolkit 中使用 Ollama 模型的先決條件

  • AI Toolkit v0.6.2 或更高版本。
  • Ollama（在 Ollama v0.4.1 上測試）

將本地 Ollama 新增到 AI Toolkit

  1. 從上面提到的一個入口點，選擇 新增 Ollama 模型。

    Select model type to add

  2. 接下來，選擇 從 Ollama 庫中選擇模型

    如果您在不同的端點啟動 Ollama 執行時，請選擇 提供自定義 Ollama 端點 以指定 Ollama 端點。

  3. 選擇要新增到 AI Toolkit 的模型，然後選擇 確定

    注意

    AI Toolkit 只顯示已在 Ollama 中下載但尚未新增到 AI Toolkit 的模型。要從 Ollama 下載模型，您可以執行 ollama pull <model-name>。要檢視 Ollama 支援的模型列表，請參閱 Ollama 庫或參考 Ollama 文件。

  4. 您現在應該會在樹狀檢視中的模型列表中看到選定的 Ollama 模型。

    注意

    Ollama 模型目前不支援附件。因為我們使用 Ollama 的OpenAI 相容端點連線到 Ollama，而該端點尚不支援附件。

新增具有 OpenAI 相容端點的自定義模型

如果您有可從 Internet 訪問的、具有 OpenAI 相容端點的自託管或部署模型，您可以將其新增到 AI Toolkit 並在 Playground 中使用。

  1. 從上面的一個入口點，選擇 新增自定義模型。
  2. 輸入 OpenAI 相容的端點 URL 和所需資訊。

新增自託管或本地執行的 Ollama 模型

  1. 在模型目錄中選擇 + 新增模型。
  2. 在模型快速選擇中，選擇 Ollama 或 自定義模型。
  3. 輸入所需詳細資訊以新增模型。

新增自定義 ONNX 模型

要新增自定義 ONNX 模型，首先使用模型轉換工具將其轉換為 AI Toolkit 模型格式。轉換後，將模型新增到 AI Toolkit。

將模型部署到 Azure AI Foundry

您可以直接從 AI Toolkit 將模型部署到 Azure AI Foundry。這允許您在雲中執行模型並透過端點訪問它。

  1. 從模型目錄中，選擇要部署的模型。

  2. 選擇 部署到 Azure AI Foundry，可以從下拉選單中選擇，也可以直接從 部署到 Azure AI Foundry 按鈕選擇，如下圖所示

    Screenshot of the AI Toolkit interface showing the model catalog with a model selected and the Deploy to Azure AI Foundry button highlighted.

  3. 在 模型部署 選項卡中，輸入所需資訊，例如模型名稱、描述和任何其他設定，如下圖所示

    Screenshot of the AI Toolkit interface showing the model deployment tab with fields for model name, description, and additional settings.

  4. 選擇 部署到 Azure AI Foundry 以開始部署過程。

  5. 將出現一個對話方塊以確認部署。檢視詳細資訊並選擇 部署 以繼續。

  6. 部署完成後，模型將在 AI Toolkit 的 我的模型 部分中可用，您可以在 Playground 或 Agent Builder 中使用它。

選擇一個模型進行測試

您可以在 Playground 中測試模型的聊天完成情況。

使用模型目錄中模型卡上的操作

  • 在 Playground 中試用：載入選定的模型以在Playground 中進行測試。
  • 在 Agent Builder 中試用：在Agent Builder 中載入選定的模型以構建 AI 代理。

管理模型

您可以在 AI Toolkit 檢視的 我的模型 部分管理您的模型。在這裡您可以

  • 檢視您已新增到 AI Toolkit 的模型列表。

  • 右鍵單擊模型以訪問以下選項

    • 在 Playground 中載入：在Playground 中載入模型以進行測試。
    • 複製模型名稱：將模型名稱複製到剪貼簿，以便在其他上下文中使用，例如您的程式碼整合。
    • 重新整理：重新整理模型配置以確保您擁有最新設定。
    • 編輯：修改模型設定，例如 API 金鑰或端點。
    • 刪除：從 AI Toolkit 中刪除模型。
    • 關於此模型：檢視有關模型的詳細資訊，包括其釋出商、來源和支援的功能。

  • 右鍵單擊 ONNX 部分標題以訪問以下選項

    • 啟動伺服器：啟動 ONNX 伺服器以在本地執行 ONNX 模型。
    • 停止伺服器：如果 ONNX 伺服器正在執行，則停止它。
    • 複製端點：將 ONNX 伺服器端點複製到剪貼簿，以便在其他上下文中使用，例如您的程式碼整合。

許可和登入

某些模型需要釋出商或託管服務許可證和帳戶才能登入。在這種情況下，在您可以在模型 Playground 中執行模型之前，系統會提示您提供此資訊。

您學到了什麼

在本文中，您學習瞭如何

  • 在 AI Toolkit 中探索和管理生成式 AI 模型。
  • 從各種來源查詢模型，包括 GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定義端點。
  • 將模型新增到您的工具包並將其部署到 Azure AI Foundry。
  • 新增自定義模型，包括 Ollama 和 OpenAI 相容模型，並在 Playground 或 Agent Builder 中進行測試。
  • 使用模型目錄檢視可用模型並選擇最適合您的 AI 應用程式需求的模型。
  • 使用篩選器和搜尋快速查詢模型。
  • 按類別瀏覽模型，例如熱門、GitHub、ONNX 和 Ollama。
  • 使用模型轉換工具轉換和新增自定義 ONNX 模型。
  • 在“我的模型”中管理模型，包括編輯、刪除、重新整理和檢視詳細資訊。
  • 啟動和停止 ONNX 伺服器並複製本地模型的端點。
  • 在測試某些模型之前處理其許可證和登入要求。
07/14/2025