- 1
개가 사람을 물면 우리는 주인을 찾는다. 목줄을 쥔 손이 누구였는지 묻는다. 그런데 요즘 소프트웨어는 목줄 없이 풀려 돌아다닌다. 너 대신 항공권을 끊고, 너 대신 구독을 갱신하고, 너 대신 다른 회사의 API를 호출해 돈을 옮긴다. 물었을 때 누구의 손을 찾아야 하는가.
- 2
지난 1년 사이 등장한 AI 에이전트는 한 가지 선을 넘었다. 답을 주는 데서 멈추지 않고 행동한다. 카드 정보를 쥐고 결제를 누른다. 캘린더를 잡고 약속을 잡는다. 명령을 받아 출력하던 도구가, 목표를 받아 스스로 절차를 짜는 행위자로 바뀌었다.
- 3
여기서 흔들리는 건 기계의 성능이 아니다. 책임이라는 인간 고유의 좌표다.
- 4
우리는 오랫동안 판단과 책임을 한 몸으로 여겼다. 결정한 자가 결과를 진다. 운전대를 잡은 사람이 사고를 진다. 이 등식이 사회의 신뢰를 지탱했다. 그런데 판단이 외부로 빠져나가면 등식의 한쪽이 빈다.
- 5
자율주행이 먼저 이 빈칸을 보여줬다. 사람이 운전하다 사고를 내면 운전자 과실이다. 그런데 손을 떼고 있으라고 설계한 시스템이 사고를 내면, 운전자는 손을 떼라는 말을 따랐을 뿐이다. 그를 탓하면 부당하고, 제조사를 탓하면 회피한다. 빈칸은 메워지지 않은 채 보험 약관과 소송으로 넘어갔다.
- 6
소프트웨어 에이전트는 같은 구조를 사무실 책상 위로 옮긴다. 다만 더 빠르고, 더 자주, 더 작은 결정들로.
- 7
작동 방식을 들여다보면 책임이 왜 흩어지는지 보인다. 모델을 만든 회사가 있고, 그 모델을 에이전트로 포장한 다른 회사가 있고, 그 에이전트에 권한을 준 사용자가 있다. 에이전트가 잘못된 사이트의 지시를 받아 엉뚱한 결제를 하면, 세 당사자는 각자 진심으로 억울하다.
- 8
모델 회사는 우리는 도구를 줬을 뿐 행동은 통합한 쪽이 설계했다고 한다. 통합한 회사는 모델의 출력이 그렇게 나올 줄 몰랐다고 한다. 사용자는 알아서 해달라고 맡겼을 뿐이라고 한다. 셋 다 틀리지 않았다는 게 문제다. 책임이 누구의 잘못도 아닌 형태로 증발한다.
- 9
여기서 단어 하나를 바꿔야 한다. 우리는 이것을 자동화라 부르지만, 정확히는 위임이다.
- 10
자동화는 정해진 일을 반복한다. 결과가 예측 가능하고, 그래서 책임도 설계자에게 또렷이 귀속된다. 위임은 다르다. 위임은 판단의 여지를 함께 넘긴다. 사람에게 일을 맡기면 우리는 그가 상식과 책임을 함께 갖췄다고 전제한다. 그런데 에이전트에 일을 맡기면, 판단은 넘기면서 책임은 넘기지 못한다. 받을 주체가 없기 때문이다.
- 11
법은 사람과 법인에게만 책임을 묻도록 만들어졌다. 모델은 둘 다 아니다. 그러니 책임은 모델을 통과해 가장 가까운 사람에게 떨어진다. 대개는 끝단의 사용자다. 가장 적게 알고, 가장 늦게 끼어든 사람이 가장 무겁게 무는 구조다.
- 12
반론이 있다. 계약서에 다 적으면 되지 않냐는 것이다. 사용자가 권한을 준 만큼 책임도 진다고 약관에 명시하면 깔끔하지 않냐고. 절반만 맞다. 약관은 책임을 분배하는 게 아니라 한쪽으로 미는 장치다. 힘센 쪽이 약관을 쓴다. 편의를 누리는 대가로 사용자는 자기가 이해하지도 못한 행동의 결과를 떠안기로 서명한다. 빈칸은 메워진 게 아니라, 가장 약한 사람의 호주머니로 옮겨졌을 뿐이다.
- 13
그래서 질문은 기술이 더 똑똑해지면 풀리는 종류가 아니다. 더 정확한 에이전트도 1퍼센트는 틀린다. 자주 위임할수록 그 1퍼센트의 절대량은 커진다. 성능 곡선이 아무리 올라가도 책임의 좌표는 저절로 그려지지 않는다.
- 14
이건 일하는 방식 전체를 다시 짜라는 신호다. 조직은 결재선으로 책임을 추적해왔다. 누가 승인했는지가 곧 누가 책임지는지였다. 에이전트가 그 결재선 중간에 끼어들면, 승인 도장 하나가 사람이 아닌 코드에서 찍힌다. 그 칸은 추적의 끝이 아니라 구멍이 된다.
- 15
교육도 흔들린다. 우리는 오래 판단력을 길러왔다. 그런데 판단을 외주 줄 수 있게 되면, 다음 세대가 길러야 할 능력은 판단 자체가 아니라 위임의 설계가 된다. 무엇을 맡기고 무엇을 끝까지 손에 쥘지 가르는 감각. 어디에 사람의 도장을 반드시 남길지 정하는 판단. 그것이 새로운 문해력이다.
- 16
한국 사회는 이 대목에서 특히 서둘러야 한다. 우리는 새 도구를 빠르게 들이는 데 능하고, 책임 구조를 천천히 따지는 데는 더디다. 부산의 한 중소 물류회사가 발주와 결제를 에이전트에 맡겼다가 잘못된 거래가 자동으로 체결됐다고 하자. 지금 한국 법에는 그 손해를 누가 무는지 또렷한 칸이 없다. 도입 속도와 책임 설계 속도의 격차, 그 사이로 약한 사람들이 떨어진다.
- 17
필요한 건 에이전트를 막는 일이 아니다. 위임에는 반드시 받는 손이 있어야 한다는 원칙을 제도에 새기는 일이다. 행동하는 소프트웨어를 파는 쪽이, 그 행동의 결과에 대한 책임을 미리 명시하고 일부를 떠안도록. 사람 도장 없이 넘어가서는 안 되는 결정의 경계를 사회가 합의하도록.
- 18
그래서 결국 같은 질문으로 돌아온다. 기계가 어디까지 인간처럼 결정하게 둘 것인가가 아니다. 우리는 어떤 결정을 끝까지 인간의 손에 남겨, 누군가 책임지고 무는 일로 지킬 것인가. 편의는 늘 책임의 공백을 미끼로 온다. 그 공백을 누구의 호주머니로 떨어뜨릴지 정하지 않은 위임은, 도구가 아니라 떠넘김이다.
이 글이 좋았다면 눌러주세요
이 글이 유용했다면 공유해 주세요
기계의 꿈 칼럼 더 보기 →