AI Toolkit 常見問題 (FAQ)

模型

如何找到我的遠端模型端點和驗證標頭？

以下是一些常見 OpenAI 服務提供者如何查找端點和驗證標頭的範例。對於其他提供者，您可以查看其關於聊天完成 (chat completion) 端點和驗證標頭的文件。

範例 1：Azure OpenAI

1. 前往 Azure OpenAI Studio 中的「部署」(Deployments) 頁面並選取一個部署，例如 gpt-4o。如果您尚未建立部署，請查看 Azure OpenAI 文件以了解如何建立部署。

   

2. 在「端點」(Endpoint) 區段的「目標 URI」(Target URI) 欄位中檢索您的聊天完成端點。

   

3. 從「端點」(Endpoint) 區段的「金鑰」(Key) 屬性中取得 API 金鑰。

   複製 API 金鑰後，將其以 api-key: <YOUR_API_KEY> 的格式加入至 AI Toolkit 的驗證標頭中。請參閱 Azure OpenAI 服務文件以了解更多關於驗證標頭的資訊。

範例 2：OpenAI

1. 目前，聊天完成端點固定為 https://api.openai.com/v1/chat/completions。請參閱 OpenAI 文件以了解更多資訊。

2. 前往 OpenAI 文件並選擇 API Keys 或 Project API Keys 來建立或檢索您的 API 金鑰。

   複製 API 金鑰後，將其以 Authorization: Bearer <YOUR_API_KEY> 的格式填入至 AI Toolkit 的驗證標頭中。詳細資訊請參閱 OpenAI 文件。

   

如何編輯端點 URL 或驗證標頭？

如果您輸入了錯誤的端點或驗證標頭，可能會在進行推理 (inferencing) 時遇到錯誤。

1. 開啟 VS Code 的 setting.json 檔案

   • 在驗證失敗的通知中選擇 Edit settings.json

     

   • 或者，在命令選擇區 (Command Palette) 中輸入 Open User Settings (JSON) (⇧⌘P (Windows, Linux Ctrl+Shift+P))

2. 搜尋 windowsaistudio.remoteInfereneEndpoints 設定

3. 編輯或移除現有的端點 URL 或驗證標頭。

   

   儲存設定後，樹狀檢視或遊樂場 (playground) 中的模型清單將會自動重新整理。

我該如何加入 OpenAI o1-mini 或 OpenAI o1-preview 的候補名單？

OpenAI o1 系列模型專為處理推理和解決問題的任務而設計，具備更高的專注力和能力。這些模型花費更多時間處理和理解使用者的需求，使其在科學、程式設計、數學和類似領域表現異常出色。例如，研究人員可以使用 o1 來註解細胞定序數據；物理學家可以用它來生成量子光學所需的複雜數學公式；各領域的開發人員則可用它來建立並執行多步驟的工作流程。

請造訪 GitHub 模型市場，找到 OpenAI o1-mini 或 OpenAI o1-preview 並加入候補名單。

我可以使用自己的模型或其他來自 Hugging Face 的模型嗎？

如果您的模型支援 OpenAI API 規範，您可以將其託管於雲端，並將模型加入 AI Toolkit 作為自訂模型。您需要提供模型端點 URL、存取金鑰和模型名稱等關鍵資訊。

微調 (Fine-tuning)

微調設定非常多，我需要全部擔心嗎？

不需要，您可以直接使用預設設定和我們的範例資料集進行測試。您也可以選擇自己的資料集，但需要調整一些設定。詳情請參閱微調教學。

AI Toolkit 無法建構微調專案

在安裝擴充功能之前，請務必檢查擴充功能必要條件。

我有 NVIDIA GPU 裝置，但必要條件檢查失敗

如果您有 NVIDIA GPU 裝置但檢查顯示「未偵測到 GPU」(GPU is not detected)，請確保已安裝最新的驅動程式。您可以到 NVIDIA 網站檢查並下載驅動程式。

同時，請確保該驅動程式已安裝在路徑中。若要驗證，請從命令列執行 nvidia-smi。

我產生了專案，但 Conda 啟動 (activate) 無法找到環境

環境設定可能發生問題。您可以從工作區內部手動執行 bash /mnt/[PROJECT_PATH]/setup/first_time_setup.sh 來初始化環境。

使用 Hugging Face 資料集時，該如何取得？

在執行 python finetuning/invoke_olive.py 命令之前，請務必先執行 huggingface-cli login 命令。這能確保資料集能代表您進行下載。

環境

該擴充功能適用於 Linux 或其他系統嗎？

是的，AI Toolkit 可以在 Windows、Mac 和 Linux 上執行。

我該如何停用 WSL 中的 Conda 自動啟用？

若要停用 WSL 中的 Conda 安裝，請執行 conda config --set auto_activate_base false。這會停用 base 環境。

你們目前支援容器 (containers) 嗎？

我們目前正在開發容器支援，將會在未來的版本中啟用。

為什麼需要 GitHub 和 Hugging Face 憑證？

我們將所有專案範本託管在 GitHub 上，而基礎模型則託管於 Azure 或 Hugging Face。這些環境需要帳戶才能透過 API 進行存取。

下載 Llama2 時收到錯誤訊息

請確保您已透過 Llama 2 註冊頁面請求存取權限。這是遵守 Meta 貿易合規性所必需的。

我無法在 WSL 實例中儲存專案

由於執行 AI Toolkit 操作時目前不支援遠端工作階段，因此在連接至 WSL 時無法儲存專案。若要關閉遠端連線，請選擇螢幕左下角的「WSL」，然後選擇「關閉遠端連線」(Close Remote Connections)。

錯誤：GitHub API 被禁止 (forbidden)

我們將專案範本託管在 microsoft/windows-ai-studio-templates GitHub 儲存庫中，且擴充功能使用 GitHub API 來載入儲存庫內容。如果您身在 Microsoft，可能需要授權 Microsoft 組織以避免此類禁止問題。

請參閱此問題以取得解決方法。詳細步驟如下：

1. 從 VS Code 登出 GitHub 帳戶

2. 重新載入 VS Code 和 AI Toolkit，您將會被要求再次登入 GitHub

3. 重要：在瀏覽器的授權頁面中，請務必授權應用程式存取 Microsoft 組織。

   

無法列出、載入或下載 ONNX 模型

請檢查 VS Code 輸出面板 (Output panel) 中的 AI Toolkit 記錄。如果您看到 Agent 錯誤或 Failed to get downloaded models，請關閉所有 VS Code 實例並重新開啟。

(此問題是因為底層的 ONNX 代理程式意外關閉，上述步驟旨在重新啟動該代理程式。)