ベンチマークが嘘をつき始めた

あるモデルが数学ベンチマークで98点を獲得したという発表を見ると、私たちは自然と考える。このモデルは賢いのだと。しかし、その98点が試験問題を事前に見た学生の点数だったらどうだろうか。

今、AI評価の現場で起きているのがまさにこれだ。ベンチマーク汚染。モデルの学習データに評価問題と正解が混入し、モデルは問題を解くのではなく暗記したものを吐き出す。測定ツールが測定対象に正解を漏らしたようなものだ。

ここで止まれば単なる技術ゴシップだ。一段上げて見れば、これは信頼インフラの問題である。ベンチマークは点数表ではなく、資本がどこへ流れるかを決定するシグナル体系だ。投資家がラウンドを決定し、企業が導入するモデルを選び、開発者がどのAPIを組み込むか決める際、皆がリーダーボードを見る。その数字が壊れれば、お金の方向も一緒に壊れる。

測定がマーケティングに変質した事例は、歴史的に常に同じ結末を迎えた。ディーゼル排ガス試験を見よう。フォルクスワーゲンは試験場でのみクリーンに動作するソフトウェアを組み込んだ。測定環境を察知した機械が、その環境でのみ優等生を演じたのだ。今、一部のモデルが公開ベンチマークで見せる行動も構造は全く同じだ。試験を認識し、試験用に最適化する。

信用格付けも同じ道を歩んだ。2008年直前、信用格付け会社は評価される企業から報酬を受け取り格付けを行った。測定のコストを測定対象が支払う瞬間、測定はマーケティングになる。AIベンチマークの相当数が、モデル制作会社の発表資料の中で生まれ育つ。誰が主導権を握っているか見てほしい。

核心的な質問はこれだ。評価の権力は今、誰にあるのか。モデルを作る側が評価基準も作り、スコアも発表すれば、買う側は売る側が描いた地図を持って道を探すことになる。

だからベンチマークはAIだけの問題ではない。複数の技術が交わる接点で解決すべき問題だ。

まずWeb3と出会う。評価データがいつ誰の手で作られたかを追跡可能な台帳に残しておけば、学習データと評価問題が時間的に分離されていたことを証明できる。汚染の有無を事後に監査するのではなく、そもそも構造的に遮断する方向だ。

データ出自証明技術とも出会う。モデルが見たことのない新鮮な問題だけで評価するには、その問題がある時点以降に生成されたことを証明しなければならない。コンテンツ出自標準のようなデータ系譜インフラが、評価の土台となるわけだ。

ロボットとヘルスケアに移れば、賭け金は大きくなる。紙の試験の点数と物理世界の性能は別の軸だ。手術支援AIや自動運転がベンチマーク1位という言葉は、道路や手術室で1位という意味では全くない。ここで新たな経済主体が登場する。実際のタスクでモデル性能を独立的に測定し保証する検証事業者。会計監査がそうであったように、評価の権力を制作会社から切り離して第三者に移す産業だ。

教育評価産業は既にこの道を歩んだ。自分の試験を自分で採点する学校は信頼されない。だから独立した出題と外部監督という別産業が生まれた。AIにも同じ分業が訪れる。作る者と測る者の分離だ。

ここに韓国の機会が見える。韓国はファウンデーションモデル競争の先頭ではない。しかし、導入と検証の深さで異なるポジションを取ることができる。製造、金融、医療のように測定失敗の代償が直ちに跳ね返ってくる産業が密集していることが、むしろ資産だ。釜山だけ見ても、港湾物流と造船、実測性能が安全に直結する領域がある。紙の点数ではなく現場検証を標準化すれば、それが輸出可能なインフラになる。

反論は鋭い。ベンチマークが完璧でなくても方向性は合っているのではないか、100点のモデルと70点のモデルの順序程度は信じてもいいのではないか。半分は正しい。しかし資本は順序ではなく格差に賭ける。1点差でラウンドバリュエーションが分かれ、導入契約がひっくり返る。方向が合っていても距離感覚が壊れれば、お金は正確にその距離分だけ誤って流れる。

だから韓国の導入企業はPoCを再設計しなければならない。公開ベンチマークのスコアを入札基準に使う瞬間、評価の権力をベンダーに譲渡することになる。自社データ、自社タスク、モデルが見たことのない最新問題で組んだ非公開評価セット。それが交渉力であり、それが信頼インフラだ。測定を外注しない企業だけが、自らの資金の方向を守る。

ベンチマークが嘘をつき始めたということは、AIが後退したという意味ではない。測定という公共財が私有化されているというシグナルだ。そしてこの問題はAIの中では解決しない。出自証明と分散台帳、独立検証産業、現場実測が出会う場所でのみ解決する。未来はより賢いモデル一つからは来ない。そのモデルが本当に賢いか、誰がどのように測るのか、まさにその接続点から来る。