오류는 누가 떠안는가

회의실의 네 번째 의자

요즘 사무실 풍경 하나. 보고서 초안은 코파일럿에게 시키고 사람은 그걸 검토한다. 코드 자동완성이 절반을 채우면 개발자는 받아들이거나 무른다. 마케팅 카피, 계약서 요약, 면접 후보 정리까지 보이지 않는 동료 한 명이 거든다. 다들 이걸 효율이라 부른다. 시간을 줄였으니까.

그런데 효율이라는 단어가 가린 게 있다. 사람들이 이 소프트웨어를 다루는 방식이 도구보다 동료에 가까워졌다는 점이다. 망치는 신뢰하지 않는다. 잘 들거나 안 들 뿐이다. 반면 코파일럿 앞에서는 망설인다. 이 답을 믿어도 되나, 어디까지 맡겨도 되나. 조직심리 연구자들이 오래전부터 인간 동료 사이에서 재온 바로 그 변수, 신뢰가 갑자기 사람과 기계 사이로 옮겨붙었다.

신뢰는 정확도와 다르다. 우리가 동료를 신뢰하는 건 그가 한 번도 틀리지 않아서가 아니다. 틀렸을 때 무슨 일이 벌어질지 예측할 수 있어서다. 실수를 숨기지 않고, 책임 소재가 분명하고, 손해를 함께 나눈다는 암묵의 규칙. AI 동료에게는 바로 이 규칙이 없다. 그래서 진짜 질문은 이것이다. 이 기계가 틀렸을 때, 비용은 누구에게 가는가.

정확도라는 함정

벤더들은 정확도 숫자로 신뢰를 사라고 권한다. 정답률 몇 퍼센트, 환각 비율 얼마. 숫자는 깔끔하지만 핵심을 비껴간다. 90퍼센트 정확한 동료보다, 틀릴 때 그 사실을 알려주고 책임을 함께 지는 동료가 더 신뢰할 만하다. 신뢰의 무게중심은 평균 성능이 아니라 실패 처리에 있다.

여기서 권력의 비대칭이 드러난다. 코파일럿을 만든 쪽은 약관에서 결과의 책임을 사용자에게 떠넘긴다. 출력은 참고용이며 최종 판단은 당신 몫이라는 문장. 그런데 제품 화면은 정반대 메시지를 보낸다. 자신 있게, 빈틈없는 문장으로, 마치 검토가 필요 없다는 듯 답을 내놓는다. 한쪽에서는 믿으라 유혹하고, 다른 쪽에서는 믿은 책임은 네가 지라 적는다. 이 모순이 우연일 리 없다. 신뢰를 자극해 채택을 늘리되 실패의 비용은 계약서로 밀어내는 설계다. 효율은 위로 모이고 위험은 아래로 흩어진다.

데이터 층위로 가면 그림이 더 분명해진다. 직원이 코파일럿에 던지는 질문에는 회사의 일하는 방식, 고객 정보, 미완성 아이디어가 묻어 있다. 이 흐름은 대개 외부 모델 사업자의 서버를 지난다. 노동의 산물이 곧 학습 자원이 되고, 통제권은 플랫폼으로 넘어간다. 편리함의 대가로 무엇을 내주는지, 대부분의 사용자는 협상한 적이 없다.

위계는 오류를 어떻게 굴려보내는가

한국 조직에서 이 문제는 한 겹 더 무겁다. 위계가 가파른 곳에서 책임은 좀처럼 위로 올라가지 않는다. 부장이 "AI로 빠르게 정리해서 올려"라고 말하는 순간, 도구를 고른 것도 검증 시간을 줄이라 압박한 것도 윗선이다. 그러나 출력에 오류가 섞여 사고가 나면, 마지막으로 키보드를 만진 막내가 그 결과물의 주인이 된다. 결정 권한은 위에, 책임 귀속은 아래에. AI는 이 오래된 기울기에 윤활유를 친다.

반론이 가능하다. 어차피 최종 검토는 사람이 하니, 틀린 걸 못 걸러낸 그 사람 책임이 맞지 않나. 깔끔한 논리지만 현실의 작동을 모른다. 코파일럿은 그럴듯함을 대량으로 찍어낸다. 정답과 오답이 같은 말투, 같은 자신감으로 나온다. 검토자에게 주어진 시간은 도입 효과를 입증하라는 압박 속에서 오히려 짧아진다. 빠르게 많이 처리하라면서 한 줄도 놓치지 말라는 요구는, 사실상 실패를 개인의 부주의로 재정의하는 장치다. 부산의 한 중견 제조사 사무직이든 서울의 스타트업 주니어든, 시스템이 떠넘긴 위험을 성실함으로 막으라는 주문을 받는다.

누구의 규칙으로 돌릴 것인가

기술을 멈추자는 말이 아니다. AI 동료는 분명 일을 덜어준다. 문제는 그 동료가 누구의 규칙으로 움직이느냐다. 지금은 벤더의 약관과 조직의 관성이 규칙을 대신하고 있다. 둘 다 비용을 가장 약한 자리로 흘려보내는 방향으로 정렬돼 있다.

다른 설계가 필요하다. 우선 출처와 근거를 함께 내놓아, 검토자가 어디를 의심해야 할지 보이게 하는 인터페이스. 자신감만 파는 제품은 실패 비용을 키운다. 다음으로 AI 사용 사실과 검증 책임의 분담을 문서로 남기는 조직 규칙. 누가 도구를 지정했고 누가 어디까지 검증하기로 했는지 기록되면, 책임은 키보드를 마지막에 만진 사람이 아니라 결정한 사람에게 돌아간다. 끝으로 업무 입력이 외부 학습에 쓰이지 않도록 하는 데이터 경계, 그리고 그 경계를 사용자가 확인할 수 있는 권리. 한국의 개인정보보호위원회와 노동 당국이 다룰 영역이 여기 있다. AI를 쓸 자유만이 아니라, 그 오류의 비용이 어디로 가는지 정하는 규칙 말이다.

신뢰는 감정이 아니라 제도다. 우리가 인간 동료를 믿을 수 있었던 건 실수했을 때 함께 책임지는 규칙이 사회에 깔려 있었기 때문이다. AI 동료에게는 그 규칙이 아직 없다. 그러니 던질 질문은 이 기계를 믿어도 되느냐가 아니다. 이 기계가 틀렸을 때 누가 그 값을 치르도록 우리가 정해둘 것이냐다. 신뢰는 정확도에서 오지 않는다. 책임의 분배에서 온다. 그 분배를 벤더와 위계에 맡길지, 우리가 직접 쓸지가 지금 비어 있는 선택지다.