Visual Studio Code 的 AI Toolkit

Visual Studio Code 的 AI Toolkit 可協助開發人員與 AI 工程師利用生成式 AI 模型來建置、測試及部署 AI 應用程式。您可以在本機或雲端使用它，將完整的 AI 應用程式工作流程集中管理。

AI Toolkit 提供與 OpenAI、Anthropic、Google 和 GitHub 等熱門 AI 模型提供者的無縫整合，同時也透過 ONNX 與 Ollama 支援本機模型。從模型探索與實驗，到提示工程（Prompt Engineering）與部署，AI Toolkit 能在 VS Code 內簡化您的 AI 開發工作流程。

主要功能

功能	說明	螢幕截圖
模型目錄 (Model Catalog)	探索並存取來自多個來源的 AI 模型，包括 Microsoft Foundry、Foundry Local、GitHub、ONNX、Ollama、OpenAI、Anthropic 與 Google。您可以並排比較模型，並找到最適合您使用情境的解決方案。
遊樂場 (Playground)	用於即時模型測試的互動式聊天環境。您可以嘗試不同的提示詞、參數以及包含圖像與附件的多模態輸入。
代理程式建立器	精簡的提示工程與代理程式（Agent）開發工作流程。建立複雜的提示詞、整合 MCP 工具，並透過結構化輸出產生可供生產環境使用的程式碼。
代理程式檢查器	直接在 VS Code 內對 AI 代理程式進行偵錯、視覺化與迭代。
大量執行	同時跨多個模型執行批次提示測試。這非常適合在各種輸入情境下比較模型效能及進行大規模測試。
模型評估	使用資料集與標準指標進行全面的模型評估。您可以透過內建評估器（F1 分數、相關性、相似度、一致性）衡量效能，或建立自訂的評估標準。
微調 (Fine-tuning)	針對特定領域與需求自訂並調整模型。利用 GPU 支援在本機訓練模型，或使用 Azure Container Apps 進行雲端微調。
模型轉換	轉換、量化並最佳化機器學習模型，以進行本機部署。將 Hugging Face 與其他來源的模型轉換為可在 Windows 上以 CPU、GPU 或 NPU 加速高效運行的格式。
追蹤	監控並分析您的 AI 應用程式效能。收集並視覺化追蹤資料，以深入了解模型行為與效能。
分析 (Windows ML)	診斷處理程序的 CPU、GPU、NPU 資源使用情況、不同執行提供者上的 ONNX 模型，以及 Windows 機器學習事件。

AI Toolkit 的適用對象為何？

AI Toolkit 專為所有從事生成式 AI 工作的人員所設計，從初學者到專家皆適用

開發人員

• 應用程式開發人員：建置 AI 驅動應用程式且需要整合語言模型的開發者
• 全端開發人員：希望在 Web 與桌面應用程式中新增智慧功能的開發者
• 行動裝置開發人員：在正式部署前進行 AI 功能原型的開發者

AI 工程師與資料科學家

• AI 工程師：針對特定領域進行模型微調並部署至生產環境的工程師
• 資料科學家：評估模型效能並比較不同方法的科學家
• 機器學習 (ML) 工程師：轉換並最佳化模型，以實現高效本機部署的工程師

研究人員與教育工作者

• AI 研究人員：實驗不同模型與提示工程技術的研究人員
• 教育工作者：教授 AI 概念並示範模型能力的教育者
• 學生：學習生成式 AI 並進行模型互動實作的學生

主要使用案例

• 探索並評估來自 Anthropic、OpenAI 和 GitHub 等提供者的模型
• 使用 ONNX 與 Ollama 在本機執行模型，以保障隱私並控管成本
• 利用提示產生與 MCP 工具整合來建置及測試代理程式
• 轉換並最佳化模型，以部署至不同的硬體組態

安裝與設定

快速安裝

開始使用最快的方式，是透過 Visual Studio Marketplace 安裝擴充功能

安裝 VS Code 的 AI Toolkit

安裝成功後，AI Toolkit 圖示會出現在活動列（Activity Bar）中。

手動安裝

您也可以從 Visual Studio Code Marketplace 手動安裝 AI Toolkit 擴充功能。請按照 安裝擴充功能 中詳細說明的步驟操作。

• 搜尋 AI Toolkit for Visual Studio Code 並從搜尋結果中選擇 安裝 (Install)。

  

• 安裝成功後，AI Toolkit 圖示會出現在活動列（Activity Bar）中。

探索 AI Toolkit

AI Toolkit 直接內建了 Foundry 側邊欄，讓您可以在同一個地方管理 Microsoft Foundry 資源與 AI Toolkit 功能。

AI Toolkit 會以自己的視圖開啟，並在 VS Code 活動列上顯示 AI Toolkit 圖示。該擴充功能分為三個主要部分：「我的資源」(My Resources)、「開發人員工具」(Developer Tools) 以及「說明與回饋」(Help and Feedback)。

• 我的資源 (My Resources)：此部分包含您在 AI Toolkit 中可存取的資源。我的資源區塊是與 Azure AI 資源互動的主要視圖。它包含以下子區段：
  • 本機資源 (Local Resources)：此區段包含您在本機機器上擁有的 AI 資源，例如本機模型、代理程式與工具。
  • 您的 Foundry 專案 (Your Foundry Project)：此區段顯示連線至 AI Toolkit 的 Microsoft Foundry 專案。使用您的 Foundry 專案來管理與部署 AI 資源，例如已部署的模型、提示代理程式、託管代理程式、連線、工具、向量儲存庫與傳統代理程式。
  • 已連線的資源 (Connected Resources)：此區段包含從 GitHub 模型等提供者連線至 AI Toolkit 的資源。
• 開發人員工具 (Developer Tools)：此區段包含您可用來建置與部署 AI 應用程式的工具。開發人員工具視圖是您尋找部署與操作已部署模型及代理程式所需工具的地方。它包含以下子區段：
  • 探索 (Discover)：此區段包含協助您探索與管理 AI 模型及工具的工具。它包含以下子區段：
    • 模型目錄 (Model Catalog)：模型目錄讓您能從包括 GitHub、ONNX、Ollama、OpenAI、Anthropic 與 Google 在內的多個來源探索並存取 AI 模型。您可以並排比較模型，並找到適合您使用情境的模型。
    • 工具目錄 (Tool Catalog)：瀏覽並管理 AI Toolkit 中可用的工具。
• 建置 (Build)：此區段是您尋找可用於部署並操作 AI Toolkit 中已部署代理程式的工具之處。它包含以下子區段：
  • 建立代理程式 (Create Agent)：輕鬆建立與部署代理程式。
  • 代理程式檢查器 (Agent Inspector)：直接在 VS Code 內對 AI 代理程式進行偵錯、視覺化與迭代。
  • 部署至 Microsoft Foundry (Deploy to Microsoft Foundry)：將您的本機代理程式作為託管代理程式部署至 Microsoft Foundry。
  • 託管代理程式遊樂場 (Hosted Agent Playground)：託管代理程式遊樂場提供了一個互動式環境，讓您測試您的託管代理程式。
  • 模型遊樂場 (Model Playground)：模型遊樂場提供了一個互動式環境，讓您測試生成式 AI 模型。
  • 模型轉換 (Model Conversion)：模型轉換工具可協助您在本機 Windows 平台上轉換、量化、最佳化並評估預先建置的機器學習模型。
  • 微調 (Fine-tuning)：此工具允許您使用自訂資料集，在本機具備 GPU 的運算環境，或在雲端（Azure Container Apps）具備 GPU 的環境中，對預先訓練的模型執行微調任務。
• 監控 (Monitor)：此區段是您監控並分析 AI 應用程式效能的地方。它包含以下子區段：
  • 追蹤 (Tracing)：追蹤功能可協助您監控並分析 AI 應用程式的效能。
  • 評估 (Evaluation)：透過將模型的輸出與標準資料（Ground Truth Data）進行比較並計算評估指標，來評估模型、提示詞與代理程式。
  • 效能分析 (Windows ML)(預覽版)：此工具允許您診斷處理程序的 CPU、GPU、NPU 資源使用情況、不同執行提供者上的 ONNX 模型，以及 Windows 機器學習事件。
• 說明與回饋 (Help and Feedback)：此區段包含 AI Toolkit 文件、回饋、支援以及 Microsoft 隱私權聲明的連結。它包含以下子區段：
  • 檢視文件 (View Documentation)：AI Toolkit 文件的連結。
  • 新增功能 (What's New)：AI Toolkit 發行說明連結。
  • 回報問題 (Report Issues)：AI Toolkit GitHub 儲存庫問題回報頁面的連結。
  • 加入社群 (Join Community)：加入 AI Toolkit 社群以分享回饋，並與其他使用者及 AI Toolkit 團隊互動。

後續步驟

• 取得關於如何在 AI Toolkit 中 新增生成式 AI 模型 的詳細資訊
• 使用 模型遊樂場 與模型互動
• 使用 代理程式建立器 (Agent Builder) 開發代理程式，並使用 代理程式檢查器 (Agent Inspector) 進行偵錯