使用快取總管診斷提示詞快取

當您在 Visual Studio Code 中向 AI 發送提示詞時,語言模型提供者可以重複使用您要求中與先前要求相符的部分。這稱為提示快取 (Prompt Caching)。「快取瀏覽器」(Cache Explorer) 檢視可透過比較聊天工作階段中連續的模型要求,協助您診斷提示快取未命中的原因,進而降低 Token 成本與延遲。

快取瀏覽器是 Agent 偵錯記錄面板中的其中一個檢視。

為什麼提示快取很重要

提示快取可讓模型提供者重複使用與先前要求相符的要求前綴。當要求的開頭與先前的要求完全相同時,提供者會直接從快取提供該部分,而不需要重新處理。較高的快取命中率可以同時降低延遲和 Token 成本。

快取僅適用於要求的相符前綴。一旦兩個連續要求的內容分歧,該點之後的所有內容皆為快取未命中。提示詞前半部的小幅變更(例如重新排序的工具定義或修改過的指令),會破壞整個要求其餘部分的快取。快取瀏覽器能精確指出提示詞前綴分歧的位置,幫助您理解並解決快取命中率低落的問題。

開啟快取瀏覽器

  1. 選取聊天 (Chat) 檢視中的省略號 (...) 功能表,並選取顯示 Agent 偵錯記錄 (Show Agent Debug Logs),即可開啟 Agent 偵錯面板。

  2. 選取頂端導覽路徑中的工作階段描述,即可前往摘要 (Summary) 檢視。

  3. 選取快取瀏覽器 (Cache Explorer) 以開啟所選工作階段的快取瀏覽器檢視。

Screenshot showing the Cache Explorer view in Agent Logs, with a side-by-side diff of two model requests.

解讀快取瀏覽器

快取瀏覽器包含兩個面板

  • 側邊面板會列出工作階段中的所有模型回合 (Turn),並按使用者要求分組。每個回合都會顯示快取命中百分比、持續時間、模型名稱和時間戳記。選取某個回合即可將其與前一個回合進行比較。
  • 主要內容會並排顯示目前要求與先前要求的前綴差異 (Diff)。

主要內容區域包含下列資訊

  • 快取效能:快取命中百分比,以及重複使用的輸入 Token 數與總數的比例。
  • 提示詞簽章 (Prompt signature):要求中各元件(例如系統指令、工具定義和訊息)的視覺化摘要,並帶有顏色編碼的狀態指示器。第一個分歧點標示了提示快取失效的位置。
  • 元件:系統指令、工具定義和個別訊息的可展開區段,會顯示兩個要求之間的文字層級差異。

若要尋找快取未命中的原因,請在提示詞簽章中找出第一個分歧點,然後展開對應的元件,以檢視兩個要求之間變更的確切文字。

提高快取命中率

當您要求的早期部分在各個回合中保持穩定時,提示快取的效能最好。請採用下列實務做法來保持提示詞前綴的一致性:

  • 在開始之前鎖定設定:在工作階段期間切換模型、推理工作量 (Reasoning effort)、內容大小,或是啟用的工具與 MCP 伺服器,都會重建快取。請事先選定,或是使用自動模型選擇,它僅會在快取邊界切換模型。
  • 保持指令穩定:在工作階段進行到一半時變更指令檔案或自訂 Agent 定義會破壞快取。如需詳細資訊,請參閱上下文工程指南
  • 較晚新增易變動的內容:將經常變動的內容(例如檔案附件或終端機輸出)放在對話的後段。
  • 在子 Agent 中隔離探索:在子 Agent 中執行研究,以保持父工作階段提示詞的穩定。
  • 休息後重新開始:快取會在閒置一段時間後過期。請啟動新的工作階段或執行 /compact,以便從簡短摘要而非完整歷史記錄重建。
English 한국어 中文(简体) 中文(繁體)
© . This website operates independently and is not affiliated with or endorsed by Microsoft. All brand names, logos, and trademarks are the property of their respective owners.