手動設定環境
本文說明如何針對不同硬體目標，手動設定用於模型轉換與模型推論的 Python 環境。
設定模型轉換環境
建議使用 uv 的 Python 虛擬環境來安裝環境，因為 AI Toolkit 內部會使用此方式。
除非另有設定，否則預設的 Python 版本為 3.12。
需求安裝
當 AI Toolkit 建立虛擬環境時，會依序安裝三類需求：
- 基礎需求 (Base requirements)：基礎需求，包含所有必要的套件。
- 功能需求 (Feature requirements)：針對配方的額外需求，會在基礎需求安裝完成後進行安裝。
- 專案需求 (Project requirements)：專案內的
requirements.txt檔案，讓您可以自訂相依套件。
這些檔案託管於 olive-recipes 儲存庫中。
需求檔案支援特殊指令以豐富其內容。在安裝需求檔案之前，請先檢查是否有任何特殊指令並據此處理，然後使用 uv pip install -r xxx.txt 進行標準安裝。
範例：Qualcomm NPU
對於 Deepseek Qualcomm NPU，其 runtimeOverwrite.executeEp 為 CUDAExecutionProvider，因此基礎需求檔案為 NvidiaGPU。而 executeRuntimeFeatures 為 AutoGptq，因此功能需求檔案為 AutoGptq。
範例：AMD NPU
對於 Deepseek AMD NPU，其 runtimeOverwrite.executeEp 為 AMD/Quark_py3.10.17，因此基礎需求檔案為 AMD/Quark_py3.10.17。此設定無功能需求。請為此虛擬環境使用 Python 3.10。
設定模型推論環境
該過程與設定模型轉換環境類似。
同一個需求檔案也可用於轉換。您可能只需要從檔案中安裝 onnxruntime-windowsml 和 onnxruntime-genai-winml。
WCR 是用於在 AI Toolkit 中於所有執行提供者 (Execution Providers) 上執行模型的最新需求檔案。
對於 QNN 上的 LLM 模型，arm64 Python 環境能提供更好的效能。此設定提供專用的需求檔案。