Prompt Cache 實驗

下一次請求

修改後右邊即時預覽

System prompt（指示）

附上長篇參考文件（客服規章，約 2,000 tokens，固定不變）在 system 最前面加上「現在時間」
每次請求的時間（含秒）都不同，這是很常見的錯誤寫法。

工具（中途增減會怎樣？）

模型快取按模型分開，換模型就用不到上次的快取。

距離上一次請求：3 分鐘

快取存活時間（TTL）

TTL 是寫入快取時決定的；之後每次命中都會重新計時。

cache_control 斷點位置

斷點之前（含）的整段前綴會被快取，前綴至少要 1,024 tokens 才會快取。

這一次的使用者訊息

所有數字都是示意估算：token 依字數粗估，價格用示意單價（輸入 $3、輸出 $15、快取寫入 1.25 倍＝$3.75、快取讀取 0.1 倍＝$0.30，每百萬 token；1 小時 TTL 的寫入示意為 2 倍＝$6）。實際欄位與計價請以官方文件為準。

前綴比對與實際送出

快取目前存的前綴

相同、可重用第一個不同處（快取在此斷掉）斷點之後（內容一樣也不能重用）新內容／未快取

這次請求的輸入 token 分佈

這次費用（有快取）

同樣請求不用快取

差距（負數＝省）

已送出的請求

看完要記得

穩定的放前面、會變的放後面。快取比的是前綴：順序是 tools → system → messages，只要前面有一個字不同，後面全部作廢。

不要在 system 放時間戳記。每次都不同，等於每次都在第一個區塊就斷掉；要給時間就放在最後一則訊息裡。

對話中途不要增減工具。工具定義在最前面，多一個少一個，後面的 system 和歷史都連帶失效。

命中會重新計時。只要在 TTL 內持續有請求，快取就一直活著；中斷超過 TTL 才會過期，需要重新付寫入的價錢。

快取讀取只要輸入價的約 0.1 倍，寫入約 1.25 倍：前綴要夠長（至少 1,024 tokens）、而且會被重複用，才划算。

口試怎麼答（約 30 秒）

Prompt cache 是把每次都一樣的前段內容算好存起來，下次前綴完全相同就直接重用。讀取的價格大約是一般輸入的十分之一，所以重複用越多次越划算。它是從頭開始比對，比到第一個不同的地方就停，後面就算一樣也用不到。所以我會把穩定的內容放前面，變動的放後面。system prompt 裡也不放時間戳記這類每次都會變的東西。

被追問時可以補：順序是 tools、system、messages，前面任何一層改了，後面的快取全部失效。

快取有存活時間，預設約 5 分鐘，每次命中會重新計時。

寫入快取比一般輸入貴一點，另外前綴太短也不會被快取。數字會隨模型調整，細節以官方文件為準。