← Agent 實驗室
課程 1面試 1

Token 組成實驗

左邊調整這一輪要送出的內容,右邊即時看到真正送給 API 的 request、模型回傳的 response,以及每一塊各佔多少 token。按「送出這一輪」可以看到對話越長、每一輪越貴。

你要送出的內容

修改後右邊即時更新
工具(Tools) 每個工具的名稱、說明、參數 schema 每一輪都要重送。

token 數是依字數估算(中文約 1.2 token/字,英文約 3.6 字元/token),價格用示意單價:輸入 $3、輸出 $15(每百萬 token)。

實際送出與回傳

輸入 token(這一輪整包送出)
輸出 token(模型這次產生)
0
輸入 token
0
輸出 token
$0
這一輪費用(示意)
$0
累計費用

      

中文和英文的 token 比較

同一句話,兩種寫法
0
中文 token
0
英文 token
0
中文字元數
0
英文字元數
0
中文 token/字元
0
英文 token/字元

這裡的數字都是估算,不是真正的 tokenizer。一般來說,中日韓文字每個字元花的 token 比英文多,但中文同樣的意思字數少,整句不一定比較貴。省 token 的做法是把重複的長規則寫在檔案裡,讓快取命中。不要為了省 token 把指令寫得不清楚,清楚比省幾個 token 重要。

看完要記得

口試怎麼答(約 30 秒)

一次請求的 token 分成輸入和輸出兩邊。輸入是每次都整包重送的內容,包含 system prompt、工具定義、對話歷史和這一輪的訊息。輸出是模型這次產生的東西,包含看不到全文的思考,也包含它要呼叫工具的那段文字。API 不會記得上一輪,所以對話越長,每一輪就越貴。