拒否権を手放した場所

病院の救急室の一場面を思い浮かべてみよう。画像診断AIが肺結節を正常と分類し、当直医は午前3時にその診断を確認ボタン一つで通過させる。医師は決定を下したのだろうか、それとも既に下された決定を通過させただけなのだろうか。私たちはしばしば自動化を「機械が仕事をする」と理解する。しかしこの場面が示すのは異なる。機械が行ったのは実行ではなく判断の停止だった。さらに調べる必要なし、ここで止めても大丈夫という信号を医師の代わりに送ったのだ。

人間が長く自分の役割だと信じてきた能力の一つは、止める力である。何かが間違っていると感じて手を引くこと、ルールが合致していてもこれは違うと拒否すること。実行は筋肉が行うが、拒否は良心が行うと私たちは漠然と信じてきた。ところが今、自動化システムが人間から奪っているのは実行権ではなく、まさにこの拒否権なのである。

自動化が奪うのは手ではなくブレーキ装置だ

産業自動化の第1世代は人間の手を代替した。溶接、組立、運搬。その時人間に残された場所は明確だった。機械ができない判断を行い、異常があればラインを止めること。人間は最終拒否権者として残った。

今のAIは手ではなくそのブレーキ装置を狙う。コンテンツ推薦が何を表示するか決め、与信モデルが誰の融資を拒否するか決め、採用フィルターがどの履歴書を次の段階に進めるか決める。人間はこの流れの最後に座っているが、彼が受け取るのは白紙ではなく既に記入された答案用紙だ。彼の役割は作成ではなく署名である。

ここで微妙な転倒が起こる。システムが「イエス」と言う時、人間が「ノー」を叫ぶには積極的な根拠とエネルギーが必要で、システムに逆らった結果まで自ら背負わなければならない。反対にただ追認すれば何も起こらない。拒否にはコストがつき、追認にはコストがない。認知科学で言うデフォルト・バイアスと自動化への信頼がここで重なる。人は既に提示された答えを覆すより従うように設計された存在だ。だから拒否権は譲り渡した覚えもないのに静かに作動を停止する。

最後のボタンが決定から追認に変わる時

問題をAIの精度だけで見ると道を見失う。モデルが99パーセント正しくても、いや正確であるほど人間の拒否権はより早く萎縮する。ほぼ常に正しいシステムの前で毎回疑う人間は非効率な人、仕事を遅らせる人になる。組織は彼を称賛しない。精度が高まるほど、止める権利を行使することはますます無礼で非合理的な行動に見える。

そして責任の構造が揺らぐ。事故が起きたとしよう。モデル製作会社は「最終判断は人間が行った」と言う。人間のオペレーターは「システムを信頼しろと教わった」と言う。両方とも半分ずつ正しい。人間は形式的にはボタンを押したので責任の外皮を被っているが、実質的には拒否する条件を奪われたまま追認しただけだ。法はボタンを押した手を探すが、倫理的な意味での決定はその手にはなかった。責任が消えたのではなく、責任を問える地点が消える。分散されたという言葉は上品な表現で、正確には蒸発する。

ここに強い反論がある。人間の拒否権というものがそれほど神聖だったのか。人間の裁判官も、人間の医師も偏見と疲労と気分に左右された。むしろ一貫した機械に任せて人間を外す方がより正義に適うのではないか。一理ある。ただしこの反論は核心を外している。私たちが守ろうとしているのは人間の判断の優越性ではなく、間違った時に止めて責任を取る誰かがシステム内に実在するという事実だ。機械がより正確でも、機械は恥じることもなく辞任もしない。拒否権は精度の問題ではなく、責任主体が存在するかどうかの問題だ。

韓国が設計すべきは自動化ではなく拒否の場所

韓国は自動化導入速度で先んじた社会だ。産業用ロボット密度は世界最高水準で、行政と金融のアルゴリズム意思決定も急速に増えている。釜山のスマート港湾自動化クレーンはコンテナを人より速く正確に運ぶ。しかし自動化の議論はほぼ常に「どれだけ早く、どれだけ多く代替するか」に留まる。誰がどんな条件で止められるかはめったに問われない。

教育と労働の再定義もここで分かれる。知能が外部化された時代に人間をより賢くする教育は、機械との精度競争であり既に負けた戦いだ。残る教育は止めることを知る人を育てることだ。システムが差し出した答えが形式的に正しくてもこれは違うと言える感覚、その拒否に伴うコストを引き受ける職業倫理。組織は拒否した人を処罰しない構造を、制度は追認と決定を区別する責任規定を作らなければならない。自動化システムで真に設計すべき対象はモデルの性能ではなく、人間が拒否権を実際に行使できる条件である。切れるスイッチが名目上あることと、切る人が不利益なく切れることは全く別の問題だ。

拒否権を委任するということは結局、責任を委任することだ。しかし機械は責任を受けられない存在だ。受けられない場所へ送った責任は到着できず空中で散る。だから質問はこう置き直されるべきだ。AI時代に人間が残すべき仕事は、より多く実行することでも、より正確に判断することでもない。止める場所を人間の中に残しておくこと、間違った時に恥じて責任を取る誰かをシステムから消さないことだ。何を人間の仕事として残すか。おそらくその答えは、最後にノーと言う権利だけは最後まで人間の側に置くことである。