測試集與評測設定
修改後右邊即時更新
檢視哪個版本的逐次結果
A：你是客服助理，請親切、完整地回答，開頭先問候。
B：你是客服助理，回答簡短直接；需要查資料或操作時先呼叫工具，不要憑空回答。
不論檢視哪一版，右邊的 A / B 比較永遠兩版一起算。
B：你是客服助理，回答簡短直接；需要查資料或操作時先呼叫工具，不要憑空回答。
LLM 的輸出每次不一定相同；只跑 1 次，運氣好壞就會被當成實力。
要看的指標（點選開關）
測試集（可改題目、關鍵事實、預期工具）
示意：回答是預先寫好的樣本。改關鍵事實的文字只影響顯示；真實評測要重新呼叫 agent 並重新判分。事實依「第幾行」對應，多出來的行視為沒答到。
所有數字都是示意估算：回答與評分是預先寫好的教學樣本，token 依字數粗估，費用用示意單價（輸入 $3、輸出 $15，每百萬 token），真實專案的分數與成本會不同。
評測結果
上線判準先講好標準，再看數字
A / B 逐題比較綜合分 ＝ 已開啟指標的平均；一致性 ＝ 同一題的多次結果有多相同
各指標分數
逐次結果
單筆評測紀錄
規則檢查 vs LLM 當裁判（LLM-as-judge）：工具名稱對不對、格式、長度可以用程式直接判，快、便宜、結果固定。「有沒有亂編」「事實有沒有答到」要看語意，才交給另一個模型當裁判，它能處理換句話說，但會有偏差、結果也不一定穩定。所以裁判本身也要驗：拿一批人工標註過的答案給它評，一致率夠高才能信。