거부권을 넘긴 자리

병원 응급실의 한 장면을 떠올려 보자. 영상 판독 인공지능이 폐 결절을 정상으로 분류했고, 당직 의사는 새벽 세 시에 그 판독을 확인 버튼 한 번으로 넘긴다. 의사는 결정을 내린 걸까, 아니면 이미 내려진 결정을 통과시킨 걸까. 우리는 흔히 자동화를 '기계가 일을 한다'로 이해한다. 그런데 이 장면이 보여주는 건 다르다. 기계가 한 일은 실행이 아니라 판단의 정지였다. 더 들여다볼 필요 없음, 여기서 멈춰도 됨이라는 신호를 의사 대신 보낸 것이다.

인간이 오래 자기 몫이라 믿어온 능력 중 하나는 멈추는 힘이다. 무언가 잘못됐다고 느끼고 손을 떼는 일, 규칙이 맞아떨어져도 이건 아니라고 거부하는 일. 실행은 근육이 하지만 거부는 양심이 한다고 우리는 막연히 믿어왔다. 그런데 지금 자동화 시스템이 인간에게서 가져가는 건 실행권이 아니라 바로 이 거부권이다.

자동화가 가져가는 건 손이 아니라 제동장치다

산업 자동화의 1세대는 인간의 손을 대체했다. 용접, 조립, 운반. 그때 인간에게 남은 자리는 분명했다. 기계가 못 하는 판단을 하고, 이상하면 라인을 세우는 것. 인간은 최종 거부권자로 남았다.

지금의 인공지능은 손이 아니라 그 제동장치를 노린다. 콘텐츠 추천이 무엇을 보여줄지 정하고, 신용 모델이 누구의 대출을 거절할지 정하고, 채용 필터가 어떤 이력서를 다음 단계로 넘길지 정한다. 인간은 이 흐름의 끝에 앉아 있지만, 그가 받아 드는 건 백지가 아니라 이미 채워진 답안지다. 그의 역할은 작성이 아니라 서명이다.

여기서 미묘한 전도가 일어난다. 시스템이 '예'라고 말할 때 인간이 '아니오'를 외치려면 적극적인 근거와 에너지가 필요하고, 시스템을 거스른 결과까지 스스로 떠안아야 한다. 반대로 그냥 추인하면 아무 일도 일어나지 않는다. 거부에는 비용이 붙고 추인에는 비용이 없다. 인지과학에서 말하는 디폴트 편향과 자동화 신뢰가 여기 겹친다. 사람은 이미 제시된 답을 뒤집기보다 따르도록 설계된 존재다. 그래서 거부권은 넘겨준 적도 없는데 조용히 작동을 멈춘다.

마지막 버튼이 결정에서 추인으로 바뀔 때

문제를 인공지능의 정확도로만 보면 길을 잃는다. 모델이 99퍼센트 맞아도, 아니 정확할수록 인간의 거부권은 더 빨리 위축된다. 거의 늘 맞는 시스템 앞에서 매번 의심하는 인간은 비효율적인 사람, 일을 더디게 만드는 사람이 된다. 조직은 그를 칭찬하지 않는다. 정확도가 높아질수록 멈출 권리를 행사하는 일은 점점 더 무례하고 비합리적인 행동처럼 보인다.

그리고 책임의 구조가 흔들린다. 사고가 났다고 하자. 모델 제작사는 '최종 판단은 인간이 했다'고 말한다. 인간 운영자는 '시스템을 신뢰하라고 배웠다'고 말한다. 양쪽 다 절반씩 맞다. 인간은 형식적으로는 버튼을 눌렀으니 책임의 외피를 쓰고 있지만, 실질적으로는 거부할 조건을 박탈당한 채 추인만 했다. 법은 버튼을 누른 손을 찾지만, 윤리적 의미의 결정은 그 손에 없었다. 책임이 사라진 게 아니라 책임을 물을 수 있는 지점이 사라진다. 분산되었다는 말은 점잖은 표현이고, 정확히는 증발한다.

여기 강한 반론이 있다. 인간의 거부권이라는 게 그렇게 신성했나. 인간 판사도, 인간 의사도 편향과 피로와 기분에 휘둘렸다. 차라리 일관된 기계에 맡기고 인간을 빼는 게 더 정의롭지 않은가. 일리 있다. 다만 이 반론은 핵심을 비껴간다. 우리가 지키려는 건 인간 판단의 우월성이 아니라, 잘못됐을 때 멈추고 책임질 누군가가 시스템 안에 실재한다는 사실이다. 기계가 더 정확해도 기계는 부끄러워하지 않고 사임하지도 않는다. 거부권은 정확도의 문제가 아니라 책임 주체가 존재하느냐의 문제다.

한국이 설계해야 하는 건 자동화가 아니라 거부의 자리

한국은 자동화 도입 속도에서 앞선 사회다. 산업용 로봇 밀도는 세계 최고 수준이고, 행정과 금융의 알고리즘 의사결정도 빠르게 늘고 있다. 부산의 스마트항만 자동화 크레인은 컨테이너를 사람보다 빠르고 정확하게 옮긴다. 그런데 자동화 논의는 거의 늘 '얼마나 빨리, 얼마나 많이 대체하나'에 머문다. 누가 어떤 조건에서 멈출 수 있는가는 좀처럼 묻지 않는다.

교육과 노동의 재정의도 여기서 갈린다. 지능이 외부화된 시대에 인간을 더 똑똑하게 만드는 교육은 기계와의 정확도 경쟁이라 이미 진 싸움이다. 남는 교육은 멈출 줄 아는 사람을 기르는 일이다. 시스템이 내민 답이 형식적으로 옳아도 이건 아니라고 말할 수 있는 감각, 그 거부에 따르는 비용을 감당하는 직업 윤리. 조직은 거부한 사람을 처벌하지 않는 구조를, 제도는 추인과 결정을 구별하는 책임 규정을 만들어야 한다. 자동화 시스템에서 진짜 설계해야 할 대상은 모델의 성능이 아니라 인간이 거부권을 실제로 행사할 수 있는 조건이다. 끌 수 있는 스위치가 명목상 있는 것과, 끄는 사람이 불이익 없이 끌 수 있는 것은 완전히 다른 문제다.

거부권을 위임한다는 건 결국 책임을 위임하는 것이다. 그런데 기계는 책임을 받을 수 없는 존재다. 받을 수 없는 곳으로 보낸 책임은 도착하지 못하고 허공에서 흩어진다. 그러니 질문은 이렇게 다시 놓여야 한다. 인공지능 시대에 인간이 남겨야 할 일은 더 많이 실행하는 일도, 더 정확히 판단하는 일도 아니다. 멈출 자리를 인간 안에 남겨두는 일, 잘못됐을 때 부끄러워하고 책임질 누군가를 시스템에서 지우지 않는 일이다. 무엇을 인간의 일로 남길 것인가. 어쩌면 그 답은, 마지막으로 아니오라고 말할 권리만큼은 끝까지 인간 쪽에 두는 것이다.