真実は誰が築くのか

ある弁護士が法廷に提出した書面に、存在しない判例6件が含まれていた。2023年にニューヨークで実際に起きた出来事である。彼はチャットボットに判例を尋ね、チャットボットは事件名と引用番号まで正確な形式で答えた。形式があまりにも完璧だったため、彼は疑わなかった。虚偽が真実の外観を借りるとき、何で両者を区別するのかが初めて問いとなる。

長い間、私たちは真偽を見分ける作業を人間固有の能力だと考えてきた。誰かがもっともらしいことを言えば、表情を観察し、出典を尋ね、前後が合うか確かめた。ところがこの能力は思いのほか貧弱だ。人間も滑らかな文章の前では容易に崩れる。AIが新たに作り出した問題というより、人間の判断の脆弱性を大規模に露呈した側面が強い。

ハルシネーションはバグではなく構造だ

一般的にAIの嘘を修正すべきエラーと見なす。より大きなモデル、より多くのデータを投入すれば消える欠陥だと。この診断は半分だけ正しい。

言語モデルは次の単語を確率で選ぶ機械だ。真実を語るよう設計されたことは一度もない。もっともらしさを語るよう設計されており、大抵もっともらしいものが真実と重なるため、私たちが有用だと感じるだけだ。両者が分かれる瞬間、モデルは躊躇なくもっともらしさを選ぶ。存在しない判例をでっち上げるとき、モデルは嘘をついているのではない。自分が何を知らないかすら知らない。虚偽と真実を分ける内部座標そのものが存在しない。

ここで人間との違いが鮮明になる。人間の知には出典が付随する。私はこれをどこで聞き、誰が言い、どれほど確信しているかを一緒に記憶する。間違ったとき責任を負う宛先がある。AIの知にはその宛先がない。10億の文章を平均化した場所から言葉が出てくるため、どれか一つの文章に遡ることができない。真実を支えていたのは正確な答えではなく、答えに付いた出典だったという事実が、AIによって逆に明らかになる。

検証が人間の仕事に戻ってくる

それならば問題はAIの性能ではない。人間の役割の再定義だ。

これまで人間は知識の生産と検証を一身に処理してきた。文章を書く人が事実を確認し、答える人が根拠を示した。AIはこの両者を切り離す。生産は機械が圧倒的に速く片付け、検証はどこへも行けないまま人間の前にそのまま残る。作られた文章は百倍に増えたのに、それが真実か見極める責任は減らなかった。むしろ量が増えた分だけ重くなった。

この非対称が労働の風景を変える。今後、価値を生み出す仕事はもっともらしい草稿を出す能力ではない。今や誰でも出せるようになったのだから。価値は検証から生まれる。この主張の出典はどこか、この数字は何で裏付けられるか、この結論はどんな仮定の上に立っているか。記者、医師、判事、研究者が行ってきた仕事の核心が、元々生産ではなく検証だったことが明らかになる。彼らが守っていたのは情報ではなく、情報の出処を追跡できるという事実だった。

教育も揺さぶられる。正解を暗記し素早く産出する訓練は、今や機械の方が上手だ。学校が残すべき能力は疑う方法、出典を遡る方法、もっともらしさと真実を区別する方法だ。検証は生まれつきの感覚ではなく学ぶ技術である。その技術を誰が教えるかが次世代の分岐点となる。

真実のインフラを築く側

ここで技術の方向性が分かれる。ハルシネーションを減らすことだけに固執すれば終わりなき軍拡競争だ。より賢い嘘とより賢い検知が永遠に追いかけ合う。別の道は真実のインフラを築くことだ。

コンテンツの出処を記録する標準はすでに動いている。C2PAのように画像や映像に誰がいつ何で作ったかを改ざん不可能に刻む出処証明、生成物に見えない識別標識を埋め込むウォーターマーキングがそれだ。これらを単純な偽造防止技術として読めば核心を見逃す。道路や上水道のような基盤施設に近いからだ。ある社会が何を信じられるかを支える土台だ。道路がなければ物流が止まるように、出処インフラがなければ信頼が止まる。

強い反論がある。ウォーターマーキングは切り取られ、出処標識は迂回されるから結局無用ではないかというものだ。正しい指摘だ。技術だけでは突破される。しかしインフラの力は完璧な遮断ではなく、デフォルト値を変えることにある。出処のないコンテンツを疑わしいものとして扱う社会的約束が定着すれば、迂回はコストがかかり目立つ行為となる。鍵がすべての泥棒を防げなくても、鍵をかけていない家とかけた家を分けるように。

釜山から見ればこの格差がより鮮明だ。ソウル以外の小規模メディア、地域の病院、地方の研究所は自前の検証人員を置くことが難しい。AIが吐き出すもっともらしい情報の前で最も先に無防備になる側だ。真実のインフラは大きなプラットフォームだけの仕事ではなく、小規模組織が共用できる公共財として設計されるべきだ。上水道を各家庭で別々に掘らないように。

韓国社会は今、ハルシネーションを防ぐモデル競争に視線を固定している。より賢い韓国語モデルを誰が先に出すか。肝心の空白は、出処を記録し追跡する共通規約、そしてそれを扱える市民の検証能力だ。モデルは輸入できても、信頼の基盤施設は社会が直接敷かなければならない。

AI時代の問いは、機械が人間のように真実を語るかではない。真実を見極める仕事を人間が自分の役割として最後まで残すかだ。検証を機械に丸ごと委ねる瞬間、私たちは何が真実か問うことをやめた社会になる。真実は発見されるものではなく、誰かが築くものだ。その仕事を人間の仕事として残すかが、今決定されている。