將模型轉換為 ONNX 格式

AI Toolkit 支援 Open Neural Network Exchange (ONNX) 格式，用於在本地執行模型。ONNX 是表示機器學習模型的開放標準，它定義了一組通用運算子和一種檔案格式，使得模型可以在各種硬體平臺上執行。

要使用來自其他目錄（例如 Microsoft Foundry 或 Hugging Face）的模型，您必須先將它們轉換為 ONNX 格式。

本教程將指導您將 Hugging Face 模型轉換為 ONNX 格式並將其載入到 AI Toolkit 中。

設定環境

要轉換來自 Hugging Face 或 Microsoft Foundry 的模型，您需要 Model Builder 工具。

請按照以下步驟設定您的環境

1. 確保您的裝置上已安裝 Anaconda 或 Miniconda。

2. 為 Model Builder 建立一個專用的 conda 環境，並安裝必要的依賴項（onnx、torch、onnxruntime_genai 和 transformers）。

   conda create -n model_builder python==3.11 -y
   conda activate model_builder
   pip install onnx torch onnxruntime_genai==0.6.0 transformers
   

   注意：對於某些較新的模型，例如 Phi-4-mini，您可能需要直接從 GitHub 安裝 transformers 的最新開發版本。

   pip install git+https://github.com/huggingface/transformers
   

訪問 Hugging Face 模型

有多種方法可以訪問 Hugging Face 模型。在本教程中，我們將使用 huggingface_hub CLI 作為示例，演示如何管理模型儲存庫。

注意：在繼續操作之前，請確保您的 Python 環境已正確設定。

下載 Hugging Face 模型

1. 安裝 CLI:

   pip install -U "huggingface_hub[cli]"
   

2. 下載模型儲存庫.

3. 下載儲存庫中的所有檔案將在轉換過程中使用。

建立目錄結構

AI Toolkit 從其工作目錄載入 ONNX 模型

• Windows：%USERPROFILE%\.aitk\models
• 類 Unix 系統（macOS）：$HOME/.aitk/models

為確保模型正確載入，請在 AI Toolkit 的工作目錄中建立所需的四層目錄結構。例如：

mkdir C:\Users\Administrator\.aitk\models\microsoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32

在此示例中，四層目錄結構為 microsoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32。

將模型轉換為 ONNX 格式

執行以下命令將您的模型轉換為 ONNX 格式

python -m onnxruntime_genai.models.builder -m $modelPath -p $precision -e $executionProvider -o $outputModelPath -c $cachePath --extra_options include_prompt_templates=1

以下是將模型轉換為 ONNX 格式的完整示例命令

python -m onnxruntime_genai.models.builder -m C:\hfmodel\phi3 -p fp16 -e cpu -o C:\Users\Administrator\.aitk\models\microsoft\Phi-3-mini-4k-instruct\cpu\phi3-cpu-int4-rtn-block-32-acc-level-4 -c C:\temp --extra_options include_prompt_templates=1

有關精度和執行提供程式的更多詳細資訊，請參閱以下教程

• 精度基礎
• 執行提供程式基礎

將模型載入到 AI Toolkit

轉換完成後，將您的 ONNX 模型檔案移到新建立的目錄中。AI Toolkit 在啟用後會自動從該目錄載入 ONNX 模型。

您可以在 MY MODELS 檢視中找到您的模型。要使用模型，請雙擊其名稱，或開啟 TOOLS > Playground，然後從下拉列表中選擇模型以開始與其互動。

注意：AI Toolkit 不支援直接刪除手動新增的模型。要刪除模型，請手動刪除其目錄。

支援轉換的模型

下表列出了 AI Toolkit 中支援轉換為 ONNX 格式的模型