2026年5月15日
日本語ベンチマークの設計と、その落とし穴
研究開発部 第2開発室の近藤です。日本語ベンチマークの設計について、社内で議論してきたことをまとめます。
モデルの性能を測る指標は、測り方によって結果が大きく変わります。あるベンチマークで最高点を取ったモデルが、別の観点では平凡だった、ということは珍しくありません。
スコアが上がると何が起きるか
ベンチマークを改善目標に据えると、その指標に最適化された振る舞いが生まれます。これ自体は健全な最適化ですが、指標が測っていない性質は、当然ながら改善されません。
私たちが扱っているのは業務で使われるモデルです。「テストで良い点を取る」ことと「現場で信頼される」ことの間には、埋めなければならない距離があります。
評価の設計で気をつけていること
第2開発室では、公開ベンチマークに加えて、想定業務に近い形式の内部評価セットを併用しています。作成にあたっては、以下を意識しています。
- 正解が一意に定まる問題ばかりを集めない（現場の質問は曖昧です）
- モデルが「分かりません」と答えるべき問題を必ず含める
- 評価データの出所を記録する（学習データとの重複を後から確認できるように）
3点目については、速水さんが来歴管理の観点から重要性を指摘してくれました。評価データがいつのまにか学習に混ざっていた、という事故は、記録がなければ検出すらできません。
速水さんは、これを戻れる設計と呼んでいました。出力から逆向きに辿って、元のデータまで戻れる状態を保つ、という考え方です。第2開発室では、いまもこの言葉を使っています。
おわりに
数字が良いことと、現場で使えることは、必ずしも同じではありません。評価を設計する立場として、この距離を見誤らないようにしたいと思っています。