參加你附近的 ，瞭解 VS Code 中的 AI 輔助開發。

AI 工具包常見問題解答

模型

如何查詢我的遠端模型終結點和身份驗證標頭？

以下是一些關於如何在常見的 OpenAI 服務提供商中查詢終結點和身份驗證標頭的示例。對於其他提供商，您可以檢視其關於聊天完成終結點和身份驗證標頭的文件。

示例 1：Azure OpenAI

  1. 轉到 Azure OpenAI Studio 中的部署邊欄選項卡，並選擇一個部署，例如 gpt-4o。如果您還沒有部署，請檢視 Azure OpenAI 文件，瞭解如何建立部署。

    Select model deployment

  2. 在終結點部分的目標 URI欄位中檢索您的聊天完成終結點。

    Find model endpoint

  3. 從終結點部分的金鑰屬性中獲取 API 金鑰。

    複製 API 金鑰後，將其新增到 AI 工具包中，格式為 api-key: <YOUR_API_KEY> 作為身份驗證標頭。請參閱 Azure OpenAI 服務文件，瞭解有關身份驗證標頭的更多資訊。

示例 2：OpenAI

  1. 目前，聊天完成終結點固定為 https://api.openai.com/v1/chat/completions。請參閱 OpenAI 文件，瞭解更多資訊。

  2. 轉到 OpenAI 文件並選擇 API Keys 或 Project API Keys 以建立或檢索您的 API 金鑰。

    複製 API 金鑰後，將其新增到 AI 工具包中，格式為 Authorization: Bearer <YOUR_API_KEY> 作為身份驗證標頭。請參閱 OpenAI 文件以獲取更多資訊。

    Find model access key

如何編輯終結點 URL 或身份驗證標頭？

如果您輸入了錯誤的終結點或身份驗證標頭，推理可能會遇到錯誤。

  1. 開啟 VS Code setting.json 檔案。

    • 在身份驗證失敗通知中選擇 Edit settings.json。

      Edit

    • 或者，在命令面板中輸入 Open User Settings (JSON) (⇧⌘P (Windows, Linux Ctrl+Shift+P))。

  2. 搜尋 windowsaistudio.remoteInfereneEndpoints 設定。

  3. 編輯或刪除現有終結點 URL 或身份驗證標頭。

    Edit endpoint in settings

    儲存設定後，樹檢視或遊樂場中的模型列表將自動重新整理。

如何加入 OpenAI o1-mini 或 OpenAI o1-preview 的候補名單？

OpenAI o1 系列模型專門設計用於處理推理和問題解決任務，具有更高的專注度和能力。這些模型花費更多時間處理和理解使用者的請求，這使得它們在科學、編碼、數學和類似領域中表現出色。例如，o1 可以被醫療保健研究人員用於註釋細胞測序資料，被物理學家用於生成量子光學所需的複雜數學公式，以及被所有領域的開發人員用於構建和執行多步驟工作流程。

重要

o1-preview 模型可供有限訪問。要在遊樂場中試用該模型，需要註冊，並且根據 Microsoft 的資格標準授予訪問許可權。

訪問 GitHub 模型市場以查詢 OpenAI o1-mini 或 OpenAI o1-preview 並加入候補名單。

我可以使用自己的模型或 Hugging Face 中的其他模型嗎？

如果您的模型支援 OpenAI API 協議，您可以將其託管在雲中，並將其 新增到 AI 工具包作為自定義模型。您需要提供關鍵資訊，例如模型終結點 URL、訪問金鑰和模型名稱。

微調

有許多微調設定。我需要擔心所有這些嗎？

不需要，您可以直接使用預設設定和我們的示例資料集進行測試。您也可以選擇自己的資料集，但您需要調整一些設定。請參閱 微調教程以獲取更多資訊。

AI 工具包未搭建微調專案

在安裝擴充套件之前，請務必檢查 擴充套件先決條件。

我有 NVIDIA GPU 裝置，但先決條件檢查失敗

如果您有 NVIDIA GPU 裝置，但先決條件檢查失敗並顯示“未檢測到 GPU”，請確保安裝了最新驅動程式。您可以在 NVIDIA 站點檢查並下載驅動程式。

此外，請確保它已安裝在路徑中。要驗證，請從命令列執行 nvidia-smi。

我生成了專案，但 Conda activate 無法找到環境

設定環境時可能出現了問題。您可以透過在工作區內使用 bash /mnt/[PROJECT_PATH]/setup/first_time_setup.sh 手動初始化環境。

使用 Hugging Face 資料集時，如何獲取它？

在開始 python finetuning/invoke_olive.py 命令之前，請確保執行 huggingface-cli login 命令。這可確保資料集能夠代表您下載。

環境

該擴充套件在 Linux 或其他系統上工作嗎？

是的，AI 工具包在 Windows、Mac 和 Linux 上執行。

如何停用 WSL 中的 Conda 自動啟用？

要停用 WSL 中的 Conda 安裝，請執行 conda config --set auto_activate_base false。這將停用基礎環境。

您目前支援容器嗎？

我們目前正在開發容器支援，並將在未來的版本中啟用。

為什麼您需要 GitHub 和 Hugging Face 憑據？

我們將所有專案模板託管在 GitHub 中，基礎模型託管在 Azure 或 Hugging Face 中。這些環境需要一個帳戶才能從 API 訪問它們。

我下載 Llama2 時遇到錯誤

請確保您透過 Llama 2 註冊頁面請求訪問 Llama。這是為了遵守 Meta 的貿易合規性。

我無法在 WSL 例項中儲存專案

由於在執行 AI 工具包操作時目前不支援遠端會話，因此在連線到 WSL 時無法儲存專案。要關閉遠端連線，請選擇螢幕左下角的“WSL”並選擇“關閉遠端連線”。

錯誤：GitHub API 被禁止

我們將專案模板託管在 microsoft/windows-ai-studio-templates GitHub 儲存庫中，擴充套件使用 GitHub API 載入儲存庫內容。如果您在 Microsoft，您可能需要授權 Microsoft 組織以避免此類禁止問題。

有關解決方法，請參閱 此問題。詳細步驟如下：

  1. 從 VS Code 中登出 GitHub 帳戶。

  2. 重新載入 VS Code 和 AI 工具包，系統將要求您再次登入 GitHub。

  3. 重要提示：在瀏覽器的授權頁面中，請務必授權應用程式訪問 Microsoft 組織。

    Authorize Access

無法列出、載入或下載 ONNX 模型

檢查 VS Code 輸出面板中的 AI 工具包日誌。如果您看到 Agent 錯誤或 Failed to get downloaded models，請關閉所有 VS Code 例項並重新開啟 VS Code。

（此問題是由底層 ONNX 代理意外關閉引起的，上述步驟是為了重新啟動代理。）

12/11/2024