エージェントが噛む手

犬が人を噛めば、私たちは飼い主を探す。リードを握っていた手が誰だったのかを問う。ところが最近のソフトウェアはリードなしで放たれて歩き回る。あなたの代わりに航空券を取り、あなたの代わりにサブスクリプションを更新し、あなたの代わりに他社のAPIを呼び出してお金を動かす。噛まれたとき、誰の手を探すべきなのか。

この1年の間に登場したAIエージェントは、ある一線を越えた。答えを提供するだけでなく行動する。カード情報を握って決済ボタンを押す。カレンダーを掴んで予定を入れる。命令を受けて出力していたツールが、目標を受けて自ら手順を組む行為者へと変わった。

ここで揺らいでいるのは機械の性能ではない。責任という人間固有の座標である。

私たちは長い間、判断と責任を一体のものと見なしてきた。決定した者が結果を負う。ハンドルを握った人が事故の責任を負う。この等式が社会の信頼を支えてきた。ところが判断が外部に移ると、等式の一方が空白になる。

自動運転が先にこの空白を示した。人が運転して事故を起こせば運転者の過失だ。ところが手を離していろと設計されたシステムが事故を起こせば、運転者は手を離せという指示に従っただけだ。彼を責めれば不当だし、メーカーを責めれば回避される。空白は埋められないまま保険約款と訴訟に移された。

ソフトウェアエージェントは同じ構造をオフィスの机の上に移す。ただしより速く、より頻繁に、より小さな決定として。

動作方式を見れば、なぜ責任が散逸するのかが分かる。モデルを作った会社があり、そのモデルをエージェントとして包装した別の会社があり、そのエージェントに権限を与えたユーザーがいる。エージェントが誤ったサイトの指示を受けて見当違いの決済をすれば、三者はそれぞれ心から悔しがる。

モデル会社は「我々はツールを提供しただけで、行動は統合した側が設計した」と言う。統合した会社は「モデルの出力がそうなるとは思わなかった」と言う。ユーザーは「任せただけだ」と言う。三者とも間違っていないのが問題だ。責任が誰の過失でもない形で蒸発する。

ここで言葉を一つ変えなければならない。私たちはこれを自動化と呼ぶが、正確には委任である。

自動化は決められた作業を繰り返す。結果が予測可能で、だから責任も設計者に明確に帰属する。委任は違う。委任は判断の余地を一緒に渡す。人に仕事を任せるとき、私たちはその人が常識と責任を共に備えていると前提する。ところがエージェントに仕事を任せると、判断は渡しても責任は渡せない。受け取る主体がないからだ。

法律は人と法人にのみ責任を問うように作られた。モデルはどちらでもない。だから責任はモデルを通過して最も近い人に落ちる。大抵は末端のユーザーだ。最も知らず、最も遅く関わった人が最も重く噛まれる構造だ。

反論がある。契約書に全て書けばいいのではないかというものだ。ユーザーが権限を与えた分だけ責任も負うと約款に明示すればすっきりするのではないかと。半分だけ正しい。約款は責任を分配するのではなく、一方に押し付ける装置だ。力のある側が約款を書く。利便性を享受する代価として、ユーザーは自分が理解もしていない行動の結果を引き受けることに署名する。空白は埋められたのではなく、最も弱い人のポケットに移されただけだ。

だから問いは技術がより賢くなれば解決する類のものではない。より正確なエージェントでも1パーセントは間違える。頻繁に委任するほど、その1パーセントの絶対量は大きくなる。性能曲線がどれだけ上昇しても、責任の座標は自然に描かれない。

これは働き方全体を組み直せという信号だ。組織は決裁ラインで責任を追跡してきた。誰が承認したかが、すなわち誰が責任を負うかだった。エージェントがその決裁ラインの途中に入り込めば、承認印の一つが人ではなくコードで押される。その欄は追跡の終点ではなく穴になる。

教育も揺らぐ。私たちは長く判断力を育ててきた。ところが判断を外注できるようになれば、次世代が育てるべき能力は判断そのものではなく委任の設計になる。何を任せ、何を最後まで手に握るかを分ける感覚。どこに人の印を必ず残すかを決める判断。それが新しいリテラシーだ。

韓国社会はこの点で特に急がなければならない。私たちは新しいツールを素早く導入することに長けているが、責任構造をじっくり吟味することには遅い。釜山のある中小物流会社が発注と決済をエージェントに任せて誤った取引が自動的に成立したとしよう。現在の韓国の法律には、その損害を誰が負うのか明確な欄がない。導入速度と責任設計速度の格差、その間から弱い人々が落ちる。

必要なのはエージェントを止めることではない。委任には必ず受け取る手がなければならないという原則を制度に刻み込むことだ。行動するソフトウェアを販売する側が、その行動の結果に対する責任を事前に明示し一部を引き受けるように。人の印なしに通過してはならない決定の境界を社会が合意するように。

だから結局同じ問いに戻る。機械がどこまで人間のように決定することを許すかではない。私たちはどんな決定を最後まで人間の手に残し、誰かが責任を負って噛むことで守るのか。利便性は常に責任の空白を餌にやってくる。その空白を誰のポケットに落とすかを決めない委任は、ツールではなく責任転嫁だ。