エラーは誰が負うのか

会議室の四番目の椅子

最近のオフィス風景の一つ。報告書の草案はコパイロットに任せ、人はそれを検討する。コードの自動補完が半分を埋めれば、開発者はそれを受け入れるか元に戻す。マーケティングコピー、契約書要約、面接候補者の整理まで、見えない同僚一人が手を貸す。誰もがこれを効率と呼ぶ。時間を削減したのだから。

しかし効率という言葉が隠しているものがある。人々がこのソフトウェアを扱う方式が、ツールよりも同僚に近づいたという点だ。ハンマーは信頼しない。よく効くか効かないかだけだ。一方、コパイロットの前では躊躇する。この答えを信じてもいいのか、どこまで任せてもいいのか。組織心理研究者たちが以前から人間の同僚の間で測定してきたまさにその変数、信頼が、突然人間と機械の間に移り変わった。

信頼は正確度とは異なる。我々が同僚を信頼するのは、彼が一度も間違わないからではない。間違った時に何が起こるか予測できるからだ。ミスを隠さず、責任の所在が明確で、損害を共に分かち合うという暗黙のルール。AI同僚にはまさにこのルールがない。だから本当の質問はこうだ。この機械が間違った時、コストは誰が負うのか。

正確度という罠

ベンダーたちは正確度の数字で信頼を買えと勧める。正答率何パーセント、ハルシネーション率いくつ。数字はすっきりしているが核心を外している。90パーセント正確な同僚よりも、間違った時にその事実を知らせ、責任を共に負う同僚の方が信頼できる。信頼の重心は平均性能ではなく、失敗処理にある。

ここで権力の非対称性が現れる。コパイロットを作った側は約款で結果の責任を使用者に押し付ける。出力は参考用であり最終判断はあなた次第という文章。ところが製品画面は正反対のメッセージを送る。自信たっぷりに、隙のない文章で、まるで検討が不要であるかのように答えを出す。一方では信じろと誘惑し、もう一方では信じた責任はお前が負えと書く。この矛盾が偶然のはずがない。信頼を刺激して採用を増やしつつ、失敗のコストは契約書で押し出す設計だ。効率は上に集まり、リスクは下に散らばる。

データ層に行けば図はより明確になる。職員がコパイロットに投げる質問には、会社の働き方、顧客情報、未完成のアイデアが含まれている。この流れは大抵外部モデル事業者のサーバーを経由する。労働の産物がすぐに学習資源となり、統制権はプラットフォームに移る。利便性の対価として何を差し出しているか、大半の使用者は交渉したことがない。

階層はエラーをどう転がすのか

韓国の組織でこの問題はもう一段重い。階層が急な場所では、責任はなかなか上に上がらない。部長が「AIで素早く整理して上げて」と言った瞬間、ツールを選んだのも検証時間を削れと圧力をかけたのも上層部だ。しかし出力にエラーが混じって事故が起これば、最後にキーボードを触った末端がその成果物の主人になる。決定権限は上に、責任帰属は下に。AIはこの古い傾斜に潤滑油を注ぐ。

反論が可能だ。どうせ最終検討は人がするのだから、間違いを見逃したその人の責任ではないか。すっきりした論理だが現実の作動を知らない。コパイロットはもっともらしさを大量に生産する。正解と誤答が同じ口調、同じ自信で出てくる。検討者に与えられた時間は、導入効果を証明しろという圧力の中でむしろ短くなる。速く多く処理しろと言いながら一行も見逃すなという要求は、事実上失敗を個人の不注意として再定義する装置だ。釜山のある中堅製造会社の事務職であれ、ソウルのスタートアップのジュニアであれ、システムが押し付けたリスクを誠実さで防げという注文を受ける。

誰のルールで回すのか

技術を止めようという話ではない。AI同僚は明らかに仕事を軽減する。問題はその同僚が誰のルールで動くかだ。今はベンダーの約款と組織の慣性がルールの代わりをしている。どちらもコストを最も弱い立場へ流す方向に調整されている。

別の設計が必要だ。まず出典と根拠を一緒に示し、検討者がどこを疑うべきか見えるようにするインターフェース。自信だけを売る製品は失敗コストを増大させる。次にAI使用の事実と検証責任の分担を文書に残す組織ルール。誰がツールを指定し、誰がどこまで検証することにしたか記録されれば、責任はキーボードを最後に触った人ではなく決定した人に戻る。最後に業務入力が外部学習に使われないようにするデータ境界、そしてその境界を使用者が確認できる権利。韓国の個人情報保護委員会と労働当局が扱うべき領域がここにある。AIを使う自由だけでなく、そのエラーのコストがどこへ行くかを定めるルールだ。

信頼は感情ではなく制度だ。我々が人間の同僚を信じることができたのは、ミスをした時に共に責任を負うルールが社会に敷かれていたからだ。AI同僚にはそのルールがまだない。だから投げかけるべき質問は、この機械を信じてもいいかではない。この機械が間違った時に誰がその代価を払うよう我々が定めておくかだ。信頼は正確度から来ない。責任の配分から来る。その配分をベンダーと階層に任せるか、我々が直接書くかが、今空白になっている選択肢だ。