경영진이 안하면 후회할 AI 성과 검토 방법

미국 신시내티의 생활용품 회사 P&G가 해마다 우편으로 돌리던 소비자 설문에서 세탁세제 타이드의 종이 상자는 늘 좋은 점수를 받았습니다. 열기 불편하다는 불만은 거의 없었습니다. 그런데 직원들이 소비자 집에 직접 들어가 빨래하는 모습을 지켜보자 다른 장면이 나왔습니다. 지하 세탁실에서 많은 사람이 드라이버 같은 공구로 상자 옆면의 절취선을 꾹 눌러 뜯고 있었습니다. 당시 최고경영자(CEO) A.G. 래플리는 2008년 인터뷰에서 이 일화를 꺼내며, 회사가 알고 싶은 것은 소비자가 "말한 것"이 아니라 "실제로 한 것"이라고 했습니다. 그 뒤 타이드 상자는 열기 쉬운 구조로 바뀌었습니다.

설문지의 만족도와 지하실의 드라이버. 이 간극은 지금 훨씬 큰 규모로 반복되고 있습니다. 이번에는 세제 상자가 아니라 인공지능(AI)입니다. 경영진 책상 위의 대시보드에는 AI 도구 사용률과 절감 시간이 초록색으로 올라가고, 현장 직원들은 AI가 써준 초안을 고치느라 퇴근이 늦어집니다. 숫자는 좋아 보이는데 일은 별로 줄지 않았다는 이야기가 회의실 밖에서 오갑니다.

이 글은 AI 전환을 책임진 경영진에게 하나의 오래된 기술을 권하려고 씁니다. 바로 관찰입니다. 새 도구를 하나 더 사자는 이야기도, AI 도입을 늦추자는 이야기도 아닙니다. 이미 들여온 AI가 실제로 어떤 일을 바꾸고 있는지, 보고서가 아니라 자기 눈으로 확인하는 습관에 관한 이야기입니다. 출발점은 2026년 9월 한국어로 나온 한 인류학자의 책입니다.

1. 관찰도 연습해야 하는 기술

니콜라 노바는 스위스 제네바예술디자인대학(HEAD-Genève)의 정교수였습니다. 경력이 독특합니다. 스위스 로잔연방공과대학(EPFL)에서 인간-컴퓨터 상호작용으로 첫 박사 학위를 받았고(2007), 제네바대학에서 스마트폰이 일상에 자리 잡는 방식을 연구해 사회과학으로 두 번째 박사 학위를 받았습니다(2018). 기술을 만드는 쪽과 기술이 쓰이는 현장을 보는 쪽을 둘 다 훈련받은 사람입니다. 미래 기술을 연구하는 디자인 그룹 니어 퓨처 래버러토리를 동료와 함께 세웠고, 2006년 제네바에서 기술 콘퍼런스 '리프트'를 공동 창설하기도 했습니다.

그가 2022년 프랑스에서 낸 책 『관찰 연습(Exercices d'observation)』은 2026년 9월 책사람집에서 한국어판으로 나왔습니다. 책의 출발점은 간단합니다. 정보가 쉬지 않고 쏟아지는 환경에서 우리의 주의력이 상해 있다는 것, 그리고 관찰은 타고나는 감각이 아니라 배우고 익히는 기술이라는 것입니다. 그래서 그는 19가지 연습을 제안합니다. 10분 동안 눈앞의 모든 것을 적어보기, 사물 하나를 골라 질문 스물다섯 개 던지기, 쓰레기통을 비워 분류해 보기, 손목시계를 분해해 보기, 낯선 동호회에 몇 주간 섞여 보기, 같은 장소를 반복해서 찾아가 기록하기 같은 것들입니다.

노바가 기댄 전통도 분명합니다. 프랑스 작가 레몽 크노는 버스 안에서 일어난 평범한 사건 하나를 99가지 문체로 다시 썼습니다. 무엇에 주목하고 어떻게 묘사하느냐에 따라 같은 사건이 전혀 다른 이야기가 된다는 것을 보여준 책입니다. 소설가 조르주 페렉은 파리의 생쉴피스 광장에 사흘간 앉아 지나가는 버스와 사람, 비둘기를 기록해 한 권의 책으로 냈습니다. 노바는 이런 작가들의 습관을 인류학자의 현장 조사 방법과 엮어, 누구나 따라 할 수 있는 연습으로 풀어냈습니다.

조르주 페렉이 사흘간 앉아 기록한 파리 생쉴피스 광장. 사진 CVB, CC BY-SA 4.0, Wikimedia Commons

노바는 2024년 12월 31일, 오만의 산길을 걷던 중 47세로 세상을 떠났습니다. 동료들은 이듬해 2월 그를 기리는 자리에서 함께 '관찰 연습'을 했습니다. 이 책이 경영서가 아닌데도 경영진에게 권할 만한 이유는, 그가 평생 들여다본 주제가 바로 "기술이 실제로 어떻게 쓰이는가"였기 때문입니다. 설계도나 보도자료 속 기술이 아니라 고장 나고, 우회되고, 엉뚱하게 쓰이는 기술 말입니다. 지금 AI가 기업 안에서 겪고 있는 일이 정확히 그것입니다.

책의 연습들은 크게 세 단계로 묶입니다. 첫 단계는 평소 지나치던 것을 기록으로 바꾸는 일입니다. 두 번째 단계는 바라보기만 하지 않고 직접 만지고 들어가 보는 일입니다. 세 번째 단계는 쌓인 기록을 나란히 놓고 엮어서 의미를 찾는 일입니다. 이 세 단계는 AI 도입을 책임진 경영진이 현장을 읽는 순서와 거의 그대로 겹칩니다. 아래 표는 노바의 연습을 경영 현장의 행동으로 옮겨 본 것입니다. 이어지는 장에서 하나씩 사례와 함께 따라가 보겠습니다.

장표: Imaginethat AI Research

2. 팩트체크 : AI가 실제 회사 이익에 기여했다?

먼저 보고서가 말하는 숫자부터 보겠습니다. 맥킨지가 2026년 8월 25일 낸 「AI 현황(The State of AI)」 조사에서 응답자의 80%는 AI가 개인 생산성을 높였다고 답했습니다. 절반은 AI가 더 나은 의사결정을 돕는다고 했습니다. 여기까지는 좋은 소식입니다.

그런데 회사 전체의 수익으로 내려오면 이야기가 달라집니다. AI가 영업이익(EBIT, 이자·세금 차감 전 이익)에 조금이라도 기여했다고 답한 비율은 37%였고, 맥킨지는 이 비율이 지난해와 거의 같다고 썼습니다. AI 덕분에 영업이익의 5% 이상을 얻었고 효과가 "상당하다"고 말한 고성과 기업은 약 6%로, 역시 1년 전과 같았습니다. 개인은 빨라졌다고 느끼는데 회사의 손익은 그만큼 움직이지 않은 것입니다.

장표: Imaginethat AI Research, 자료 McKinsey (2026-08-25)

보스턴컨설팅그룹(BCG)의 2025년 「일터의 AI(AI at Work)」 조사도 비슷한 그림을 보여줍니다. 11개국 1만 600여 명에게 물었더니, 리더와 관리자의 4분의 3 이상은 생성형 AI를 일주일에 여러 번 쓴다고 답했습니다. 반면 일선 직원의 정기 사용률은 51%에서 멈춰 있었습니다. BCG는 이를 '실리콘 천장'이라고 불렀습니다. 회의실에서 AI를 가장 많이 쓰는 사람들이 회의실 밖의 사용 실태를 과대평가하기 쉬운 구조입니다.

장표: Imaginethat AI Research, 자료 BCG (2025-06-26)

더 강한 숫자도 돌아다닙니다. 2025년 7월 MIT의 한 연구 프로젝트(NANDA)가 낸 보고서는 "기업의 95%가 생성형 AI 파일럿에서 손익 효과를 얻지 못했다"는 문장으로 크게 화제가 됐습니다. 다만 이 수치는 조심해서 써야 합니다. 조사는 52개 조직 인터뷰와 153명 설문, 공개 사례 300여 건 검토로 이뤄졌고, 95%를 계산한 근거가 보고서에 충분히 나와 있지 않다는 비판을 받았습니다. 저자들이 보고서가 권하는 방식의 솔루션과 이해관계가 있다는 지적도 있었습니다. 이 글에서 95%를 근거로 삼지 않는 이유입니다. 다만 이 보고서가 함께 전한 다른 장면, 즉 회사가 공식 구독한 AI 도구보다 직원이 개인 계정으로 쓰는 AI가 훨씬 많다는 관찰은 다른 조사들과도 방향이 맞습니다. BCG 조사에서도 필요한 도구가 없으면 절반 넘는 직원이 대안을 찾아 어쨌든 쓰겠다고 답했습니다.

전망도 내놓은 곳이 있습니다. 시장조사사 가트너는 2025년 6월, 스스로 판단하고 일하는 에이전트형 AI 프로젝트의 40% 이상이 2027년 말까지 취소될 것이라고 예측했습니다. 이유로는 늘어나는 비용, 불분명한 사업 가치, 부족한 위험 관리를 꼽았습니다. 기술이 모자라서라기보다, 그 기술이 들어갈 업무를 충분히 이해하지 못한 채 시작한 프로젝트가 많다는 진단에 가깝습니다.

한국도 다르지 않습니다. 대한상공회의소 경제연구원이 2026년 6월 임금근로자 약 3,000명을 조사한 보고서를 보면, 생성형 AI를 업무에 쓴다는 비율은 대기업 66.5%, 중소기업 52.7%였습니다. 눈에 띄는 것은 다른 숫자입니다. 회사가 AI 사용을 적극적으로 권장하면 직원이 AI를 활용할 확률이 15.5%포인트 높아졌지만, AI 도입 로드맵이 없다는 응답은 중소기업 70.4%, 대기업에서도 54.4%였습니다. 직원은 쓰고 있는데 회사는 어디로 갈지 그리지 못한 경우가 절반을 넘는 셈입니다.

경영진이 보는 공식 지표와 현장에서 벌어지는 실제 사용 사이에 틈이 있다는 것. 이것이 보고서들이 공통으로 가리키는 지점입니다.

3. 개발자들의 생산성이 진짜 늘었나?

틈이 생기는 이유 하나는 사람의 체감이 생각보다 믿을 만하지 않다는 데 있습니다. 이 점을 가장 선명하게 보여준 실험이 있습니다.

AI 평가 연구기관 METR는 2025년 상반기, 숙련된 오픈소스 개발자 16명에게 실제 업무 246건을 맡겼습니다. 이들은 평균 5년 넘게 다뤄온 대형 프로젝트에서 일했습니다. 과제마다 AI 도구 사용 허용 여부를 무작위로 정하는 무작위 대조 실험(RCT)이었습니다. 개발자들은 시작 전에 AI를 쓰면 작업 시간이 24% 줄 것이라고 예상했습니다. 실험이 끝난 뒤에도 20% 줄었다고 느꼈습니다. 그런데 실제로 잰 작업 시간은 AI를 쓸 때 오히려 19% 늘어났습니다. 경제학자와 머신러닝 전문가들의 예측(각각 39%, 38% 단축)과도 정반대 결과였습니다.

장표: Imaginethat AI Research, 자료 METR arXiv 2507.09089

이 실험은 표본이 16명이고, 성숙한 대형 코드베이스와 2025년 초의 도구라는 특정 조건에서 나온 결과입니다. 모든 업무에 일반화할 수는 없습니다. 연구진 스스로도 실험 설계의 영향을 완전히 배제하지 못한다고 밝혔습니다. 그럼에도 경영진에게 주는 교훈은 분명합니다. 본인이 느끼는 속도와 실제로 걸린 시간은 다를 수 있고, 그 차이는 설문으로는 잡히지 않습니다. 설문은 체감을 묻기 때문입니다.

비슷한 신호는 다른 곳에서도 나옵니다. 2025년 9월 하버드비즈니스리뷰(HBR)에 실린 연구에서 미국 사무직 1,150명 가운데 40%가 최근 한 달 사이 '워크슬롭(workslop)'을 받았다고 답했습니다. 그럴듯해 보이지만 내용이 부실해서 받는 사람이 다시 고쳐야 하는 AI 생성 결과물을 가리키는 말입니다. 응답자들은 한 건을 처리하는 데 평균 2시간 가까이 쓴다고 했습니다. 이 조사를 함께 한 회사가 관련 솔루션을 파는 곳이라 수치는 참고 정도로만 봐야 하지만, 현상 자체는 많은 조직에서 낯설지 않을 것입니다. 보내는 사람의 생산성 지표에는 "초안 완료"로 찍히고, 받는 사람의 시간은 어디에도 기록되지 않습니다.

경영진과 직원의 체감이 엇갈린다는 조사도 있습니다. AI 교육 회사 섹션(Section)이 2026년 1월 낸 보고서에서, AI로 일주일에 4시간 넘게 아낀다는 지식노동자는 3분의 1이 채 되지 않았고, 24%는 아낀 시간이 없다고 답했습니다. 같은 조사에서 경영진은 회사의 AI 전략이 명확하고 도입도 널리 퍼졌다고 답하는 경향이 강했습니다. 월스트리트저널은 이 데이터를 두고 CEO는 효율이 올랐다고 하지만 직원은 다른 이야기를 한다고 보도했습니다. 누구의 말이 맞는지는 설문을 한 번 더 돌려서는 가릴 수 없습니다. 두 집단 모두 자기 체감을 말하고 있기 때문입니다.

대시보드는 AI가 만든 결과물의 양을 셉니다. 그 결과물을 고치고, 확인하고, 되돌리는 데 든 시간은 세지 않습니다. 이 차이를 보려면 누군가는 그 일이 실제로 처리되는 자리에 가서 앉아 있어야 합니다.

4. 도요타 - 분필로 바닥에 그린 원 안에서 강제 관찰하게 시켰다.

노바가 첫 번째로 권하는 연습은 '망라하기'입니다. 지금 있는 자리에서 10분 동안 눈에 보이고 귀에 들리는 것을 빠짐없이 적는 것입니다. 해석하거나 판단하지 말고, 우선 보이는 것을 모두 기록하라는 주문입니다.

제조업에는 이와 거의 같은 전통이 있습니다. 도요타 생산방식을 만든 오노 다이이치에 관해 전해지는 일화입니다. 그는 새로 온 관리자를 공장 바닥에 분필로 그린 원 안에 세워두고 몇 시간 동안 라인을 지켜보게 했습니다. 돌아와서 무엇을 봤는지 묻고, 충분히 보지 못했다고 판단하면 더 서 있게 했습니다. 어떤 이들은 한 교대 근무 내내 서 있었다고 합니다. 이 이야기가 문자 그대로의 사실인지는 확인되지 않았습니다. 실제로 원을 그렸는지 의문을 제기하는 글도 있습니다. 그래도 도요타가 '겐치 겐부츠(現地現物)', 곧 "실제 현장에 가서 실제 물건을 보라"를 원칙으로 삼아온 것은 분명합니다.

도요타 생산방식을 만든 오노 다이이치. 도요타자동차공업 사사 편집위원회, 퍼블릭 도메인, Wikimedia Commons

소프트웨어 회사에도 같은 습관을 제도로 만든 곳이 있습니다. 회계 소프트웨어 회사 인튜이트는 초창기부터 '팔로 미 홈(Follow Me Home)'이라는 방식을 써 왔습니다. 직원들이 고객의 집이나 사무실에 찾아가 제품을 쓰는 모습을 30분에서 90분가량 지켜보는 것입니다. 회사의 현재 안내서에 적힌 순서는 이렇습니다. 먼저 관찰하고, 그다음 보여달라고 부탁하고, 마지막에 질문합니다. 질문부터 하면 고객은 자기가 한 일이 아니라 했어야 하는 일을 말하기 때문입니다.

이 연습을 AI 도입에 옮기면 어떻게 될까요. 경영진이 한 달에 하루, 고객 상담팀이나 영업 지원팀 자리 옆에 앉아 직원이 AI 도구를 켜고 끄는 순간을 그대로 적어보는 것입니다. AI 답변을 그대로 쓰는 경우는 몇 번인지, 고쳐 쓰는 경우는 몇 번인지, 아예 창을 닫고 예전 방식으로 돌아가는 경우는 언제인지를 기록합니다. 이 10분짜리 기록은 사용률 그래프가 보여주지 못하는 것을 보여줍니다. 그래프는 "켰다"만 셉니다. 원 안에 선 사람은 "켰다가 껐다"를 봅니다.

기록 양식은 단순할수록 좋습니다. 시각, 업무 이름, AI를 연 이유, AI 결과를 그대로 썼는지 고쳤는지 버렸는지, 그때 직원이 혼잣말처럼 한 말. 이 다섯 칸이면 충분합니다. 마지막 칸이 의외로 가장 쓸모 있습니다. "이건 매번 다시 써야 해요", "고객번호를 넣으면 안 돼서요" 같은 혼잣말은 어느 사내 설문에도 나오지 않습니다. 노바가 낯선 사람의 말투까지 관찰 대상으로 삼으라고 한 이유가 여기 있습니다. 사람들이 무심코 쓰는 말에는 제도와 실제가 어긋난 자리가 그대로 드러납니다.

5. 버려진 AI 결과물 관리법 - 쓰레기를 다시보자

노바의 연습 가운데 가장 낯선 것은 쓰레기 관찰입니다. 근처 휴지통을 비우고, 내용물을 비슷한 것끼리 모아, 무엇이 많고 어떤 특징이 있는지 적어보라는 것입니다. 인류학과 고고학에서는 오래된 방법입니다. 노바는 값비싼 보석보다 흔한 통조림 깡통 하나가 한 사회에 대해 더 많은 이야기를 해준다고 썼습니다. 사람들이 버린 것에는 사람들이 실제로 산 방식이 남기 때문입니다.

기업에도 쓰레기통이 있습니다. AI 시대에는 그 쓰레기통이 더 커졌습니다. 직원이 생성했다가 지운 AI 초안, 고객이 "상담원 연결"을 누르고 버린 챗봇 대화, 검토 단계에서 반려된 AI 보고서, 회사가 막아둔 도구 대신 개인 계정으로 쓴 대화 기록 같은 것들입니다. 성과 보고서에는 완성된 결과물만 올라옵니다. 버려진 것들은 어디에도 집계되지 않습니다.

이 분야의 고전적인 연구가 있습니다. 1980년대 제록스 팰로앨토연구소(PARC)의 인류학자 루시 서치먼은 사람들이 새 복사기를 쓰는 장면을 비디오로 찍어 분석했습니다. 복사기에는 사용자를 안내하는 정교한 도움말 시스템이 들어 있었습니다. 설계자들은 사용자가 계획을 세우고 그 계획대로 기계를 조작한다고 가정했습니다. 그런데 녹화 영상 속 사람들은 그렇게 움직이지 않았습니다. 기계의 반응을 보며 즉석에서 해석하고, 오해하고, 다시 시도했습니다. 서치먼은 1987년 책 『계획과 상황적 행위(Plans and Situated Actions)』에서 사람의 행동은 미리 정한 계획을 실행하는 것이 아니라 그때그때의 상황과 주고받으며 만들어진다고 정리했습니다. 이 책은 이후 인간-컴퓨터 상호작용 연구의 토대가 됐습니다.

루시 서치먼이 복사기 사용 연구를 한 제록스 팰로앨토연구소. 사진 Coolcaesar, CC BY-SA 3.0, Wikimedia Commons

지금의 AI 에이전트 설계가 40년 전 복사기 도움말과 같은 가정을 반복하고 있지는 않은지 돌아볼 만합니다. 업무 흐름도에 그려진 대로 사람이 일한다고 가정하고 AI를 끼워 넣으면, 실제 업무가 흐름도와 다를 때 AI는 엉뚱한 자리에서 돕게 됩니다. 쓰레기통을 뒤져보는 연습은 그 어긋남이 어디서 생기는지 찾는 가장 싼 방법입니다. 지난달 반려된 AI 산출물 스무 건을 출력해 회의 탁자에 펼쳐 놓고 비슷한 것끼리 묶어보는 것만으로도, 어떤 업무에 AI가 맞지 않는지 꽤 많은 것이 보입니다.

노바는 이 연습을 "보기 싫은 것을 들여다보는 법"을 익히는 과정이라고 했습니다. 경영진에게도 실패한 AI 결과물은 보기 싫은 것입니다. 투자를 결정한 사람이 자기 결정의 부산물을 직접 뒤지는 일은 불편합니다. 그 불편함을 견디는 것이 이 연습의 핵심입니다.

6. AI를 직접 다뤄 보지 않은 경영진 - 당신이 제일 문제다.

노바는 바라보기만 해서는 알 수 없는 것이 있다고 했습니다. 그래서 물건을 직접 만지고, 두드리고, 분해해 보라고 권합니다. 분해의 목적은 물건이 어떻게 작동하는지 이해하는 것만이 아닙니다. 속을 모르는 물건 앞에서 생기는 막연한 두려움을 줄이는 데 있다고 그는 썼습니다.

AI 앞에서 경영진이 보이는 반응은 대체로 두 갈래입니다. 너무 두려워서 아무것도 맡기지 못하거나, 너무 믿어서 모든 것을 맡기거나. 두 반응 모두 시스템 속을 직접 들여다보지 않았을 때 나옵니다.

과신이 어떤 비용을 치르는지 보여준 사례가 있습니다. 2024년 2월 캐나다 브리티시컬럼비아주 민사분쟁심판소는 에어캐나다에 승객 제이크 모팻에게 812캐나다달러를 물어주라고 결정했습니다. 모팻은 조모상을 당해 비행기표를 사면서 웹사이트 챗봇에 상중 할인 운임을 물었습니다. 챗봇은 탑승 후 90일 안에 신청하면 차액을 돌려받을 수 있다고 안내했습니다. 실제 회사 규정은 사후 신청을 허용하지 않았습니다. 에어캐나다는 심리에서 챗봇이 회사와 별개의 책임 주체라는 취지로 주장했습니다. 심판관은 이를 받아들이지 않았고, 회사가 챗봇의 정확성을 확보할 합리적 주의를 다하지 않았다고 판단했습니다. 배상액은 작았지만 원칙은 컸습니다. 고객 앞에서 AI가 한 말은 회사가 한 말입니다.

예측 모델을 과신한 대가는 훨씬 컸습니다. 미국 부동산 플랫폼 질로우는 알고리즘으로 집값을 예측해 주택을 직접 사들이고 고쳐서 되파는 '질로우 오퍼스' 사업을 벌였다가 2021년 11월 접었습니다. 그해 3분기 주택 부문 손실은 4억 2,200만 달러였고, 회사는 인력의 25%를 줄인다고 발표했습니다. CEO 리치 바턴은 주택 가격 예측의 불확실성이 예상을 훨씬 넘었다고 말했습니다. 회사 경영진은 모델 오차와 함께 수리와 매매 마감이 밀린 운영상의 병목도 언급했습니다. 모델의 숫자만 본 사람은 보지 못했을 문제였습니다.

장표: Imaginethat AI Research

여기서 경영진이 할 수 있는 분해 연습은 거창하지 않습니다. 회사가 고객에게 내놓은 챗봇에 고객인 척 직접 까다로운 질문 열 개를 던져보는 것, 의사결정에 쓰이는 예측 모델이 틀렸던 사례 다섯 건을 담당자와 함께 거꾸로 추적해 보는 것입니다. 모델이 무엇을 입력받고, 어디서 사람의 확인을 거치고, 어디서 그냥 통과하는지를 손으로 그려보면 막연한 두려움도, 근거 없는 확신도 줄어듭니다. 맥킨지 조사에서 고성과 기업을 다른 기업과 가른 특징 가운데 하나도 모델 결과물에 사람의 검증이 언제 필요한지 정해둔 절차였습니다.

경영진이 직원과 같은 도구를 같은 조건으로 써 보는 것도 분해 연습에 들어갑니다. 임원용으로 따로 설정된 계정이나 비서가 정리해 준 결과물이 아니라, 일선 직원이 쓰는 그 화면에서 실제 업무 한 건을 처음부터 끝까지 처리해 보는 것입니다. 사내 문서 검색이 어디서 막히는지, 보안 정책 때문에 어떤 파일을 올릴 수 없는지, 결과물을 고치는 데 몇 분이 드는지는 직접 해 봐야 압니다. BCG 조사에서 리더와 일선의 사용 빈도가 크게 벌어졌다는 것은, 리더가 보는 AI와 일선이 쓰는 AI가 사실상 다른 도구일 수 있다는 뜻이기도 합니다.

7. 현장에 직접 들어가 본 회사들의 결론

노바의 또 다른 연습은 '무리 속으로' 들어가는 것입니다. 낯선 동호회에 몇 주간 섞여서, 사람들이 무엇을 쓰고 어떻게 행동하는지 관찰하라는 것입니다. 바깥에서 볼 때와 안에서 볼 때 행동 패턴이 다르기 때문입니다.

레고는 이 방법으로 위기를 넘긴 회사로 자주 거론됩니다. 1932년 창업 이후 적자를 모르던 레고는 2003년 매출이 전년보다 30% 줄고 부채가 8억 달러 수준까지 불어났습니다. 2004년에는 19억 3,000만 덴마크크로네의 순손실을 냈습니다. 새로 CEO가 된 예르겐 비 크누스토르프는 회사가 불타는 갑판 위에 서 있다고 말했습니다. 레고는 덴마크 컨설팅사 ReD 어소시에이츠와 함께 아이들과 부모의 일상을 관찰하는 연구를 진행했습니다. 연구진은 가정에서 아이들과 함께 지내고, 사진과 영상 일기를 받고, 가족의 장난감 쇼핑에 따라갔습니다. 거기서 얻은 결론은 아이들이 쉬운 즉석 재미보다 시간을 들여 실력을 쌓는 놀이를 원한다는 것이었습니다. 레고는 다시 레고다운 레고, 곧 조립의 어려움과 성취가 있는 제품에 집중하기로 했습니다.

덴마크 빌룬의 레고 하우스. 사진 Sintakso, CC0, Wikimedia Commons

다만 레고의 회복을 관찰 연구 하나의 공으로 돌리는 것은 과장입니다. 부품 종류를 1만 3,000개에서 6,500개로 줄이고, 비핵심 사업을 정리하고, 공급망을 손본 일이 함께 있었습니다. ReD의 공동 창업자 크리스티안 마드스비에르그도 2014년 HBR 기고에서 회복의 "일부"가 이런 관찰 덕분이라고만 썼습니다. 관찰은 전략을 대신하지 않습니다. 전략이 어디를 향해야 하는지 알려줄 뿐입니다.

AI 도입에서는 반대 방향의 사례가 더 많이 쌓였습니다. 핀테크 회사 클라르나는 2024년 2월, 도입 한 달 된 AI 상담 도우미가 상담 채팅의 3분의 2인 230만 건을 처리했고 이는 정규직 상담원 700명의 업무량에 해당한다고 발표했습니다. 이 "700명"은 실제로 해고한 인원이 아니라 업무량을 환산한 숫자였습니다. 그리고 1년여 뒤인 2025년 5월, 블룸버그는 클라르나가 고객 상담에서 다시 사람을 찾고 있다고 보도했습니다. 맥도날드는 2021년부터 미국 100여 개 매장에서 IBM과 함께 시험하던 드라이브스루 AI 주문 시스템을 2024년 7월 말까지 철수한다고 가맹점에 알렸습니다. 아이스크림에 베이컨이 얹히고 치킨너깃이 수백 달러어치 주문되는 영상이 소셜미디어에 먼저 퍼진 뒤였습니다. 맥도날드는 음성 주문 기술을 포기한 것은 아니라고 덧붙였습니다.

아마존의 무인 계산 기술 '저스트 워크 아웃'도 비슷한 길을 걸었습니다. 아마존은 2024년 4월 공식 블로그에서, 대형 식료품점 고객들은 카트에 달린 화면으로 담은 물건과 금액을 확인하는 방식을 더 좋아한다며 이 기술을 소형 매장 중심으로 옮긴다고 밝혔습니다. 인도에서 사람이 영상을 보고 영수증을 만든다는 언론 보도에는 사실이 아니라고 반박했습니다. 직원들은 모델 개선을 위한 데이터 작업을 한다는 설명이었습니다. 어느 쪽이든 기술의 진짜 고객 경험을 가른 것은 실험실의 정확도가 아니라 매장 안 사람들의 선택이었습니다.

이 사례들의 공통점은 기술이 형편없었다는 데 있지 않습니다. 매장 계산대와 상담 대기열에서 무슨 일이 벌어지는지를 고객이나 소셜미디어가 회사보다 먼저 봤다는 데 있습니다. 경영진이 먼저 무리 속에 들어가 있었다면, 같은 결론을 더 싸고 조용하게 얻었을지 모릅니다.

8. 오래 지켜 봐야 AI가 마침내 무엇을 바꿨는지 보인다

노바가 '구획 모니터링'이라고 부른 연습이 있습니다. 한 장소를 정해 두고 반복해서 찾아가 기록하는 것입니다. 그가 예로 든 사람은 미국 생물학자 데이비드 해스컬입니다. 해스컬은 테네시주 숲속의 약 1제곱미터 땅을 1년 동안 거의 매일 찾아가 관찰했고, 그 기록을 『숲의 삶 1년(The Forest Unseen)』으로 펴냈습니다. 이 책은 2013년 퓰리처상 논픽션 부문 최종 후보에 올랐습니다. 하루의 관찰은 그날의 모습만 알려줍니다. 여러 날의 기록을 나란히 놓아야 무엇이 반복되고 무엇이 달라졌는지 보입니다.

해스컬은 숲 바닥 1제곱미터를 1년간 관찰했다. 사진은 미국 위스콘신주의 숲 바닥. 사진 Z3lvs, CC0, Wikimedia Commons

AI의 효과도 마찬가지입니다. 도입 첫 주의 감탄이나 첫 달의 실망으로는 판단할 수 없습니다. 같은 팀, 같은 업무를 일정 기간 계속 지켜봐야 합니다. 이 점을 데이터로 보여준 연구가 있습니다. 스탠퍼드대 에릭 브리뇰프슨 교수 연구팀은 한 소프트웨어 회사의 고객 상담원 5,179명을 대상으로 생성형 AI 도우미가 단계적으로 도입되는 과정을 추적했습니다. 2023년 전미경제연구소(NBER) 워킹페이퍼로 나온 결과에서, 시간당 해결 건수는 평균 14% 늘었습니다. 그런데 평균 뒤의 분포가 더 중요했습니다. 경험이 적은 상담원은 34% 늘었고, 숙련 상담원에게는 효과가 거의 없었습니다. 연구진은 AI가 우수 상담원의 일하는 방식을 다른 상담원에게 퍼뜨린 것으로 보인다고 해석했습니다.

장표: Imaginethat AI Research, 자료 NBER WP 31161

고객 상담 현장. 사진 Petiatil, 퍼블릭 도메인, Wikimedia Commons

이 결과가 경영진에게 던지는 질문은 두 가지입니다. 첫째, 평균 14%라는 숫자만 본 경영진은 누구에게 AI를 먼저 줘야 하는지, 누구의 일하는 방식을 AI에 담아야 하는지 알 수 없습니다. 분포를 봐야 합니다. 둘째, AI가 퍼뜨린 것이 숙련 상담원의 노하우라면, 그 노하우가 무엇인지 먼저 알아야 합니다. 그것은 업무 매뉴얼이 아니라 상담 현장에서 오랜 시간 쌓인 관찰 속에 있습니다.

투자은행 모건스탠리의 자산관리 부문이 AI 어시스턴트를 도입한 과정도 이와 닮았습니다. 오픈AI가 2025년 펴낸 기업 도입 안내서에 따르면, 모건스탠리는 먼저 평가 체계부터 만들었습니다. AI의 답변을 숙련 자산관리사의 답변과 나란히 놓고 정확성과 적합성을 채점하는 단계를 거쳤습니다. 이 안내서는 현재 모건스탠리 자산관리사의 98%가 매일 이 도구를 쓴다고 적었습니다. 이 수치는 회사 측이 밝힌 것으로, 외부에서 검증된 숫자는 아닙니다. 그래도 순서는 눈여겨볼 만합니다. 현장 전문가가 실제로 어떻게 답하는지를 먼저 기록하고, 그것을 기준으로 AI를 쟀습니다.

9. 경영진의 관찰 프로토콜 짜는법

노바의 책 마지막 연습의 이름은 '여러분 뜻대로'입니다. 앞의 연습들을 바탕으로 자기만의 관찰 지침, 그가 '프로토콜'이라고 부른 것을 만들라는 것입니다. 어디에 가서 무엇을 보고 무엇을 들을지, 기록은 어떤 형식으로 남길지를 미리 정해 두는 일입니다. 그는 자기만의 관찰법을 갖는다는 것은 세상을 바라보는 기준을 남에게 맡기지 않는다는 뜻이라고 했습니다.

AI 시대의 경영진에게 이 말은 꽤 실무적으로 읽힙니다. 지금 많은 경영진은 세상을 보는 기준을 대시보드와 컨설팅 보고서, 그리고 점점 더 AI 요약에 맡기고 있습니다. 그 자체가 잘못은 아닙니다. 다만 그 기준이 무엇을 빼놓는지 아는 사람이 조직 안에 한 명은 있어야 합니다. 그 사람이 최종 결정권자라면 가장 좋습니다.

노바의 연습을 바탕으로 4주짜리 프로토콜을 하나 만들어 보았습니다. 회사마다 사정이 다르니 그대로 쓰기보다 뼈대로 삼으면 됩니다.

첫째 주에는 망라하기를 합니다. AI 도구를 쓰는 부서 한 곳을 골라 반나절 동안 직원 옆에 앉습니다. 질문하지 않고 AI를 켜고, 고치고, 닫는 장면을 적습니다. 인튜이트의 순서처럼 관찰을 먼저 하고, 보여달라는 부탁을 그다음에, 질문은 마지막에 합니다.

둘째 주에는 쓰레기통을 엽니다. 지난달 반려되거나 크게 고쳐진 AI 산출물 스무 건을 모아 비슷한 것끼리 묶습니다. 고객이 상담원 연결을 요청하며 끝낸 챗봇 대화도 함께 봅니다. 무엇이 반복해서 버려지는지가 AI가 맞지 않는 업무 목록이 됩니다.

셋째 주에는 직접 만집니다. 회사가 고객에게 내놓은 AI에 경영진이 직접 까다로운 질문 열 개를 던집니다. 내부 예측 모델이 틀렸던 사례 다섯 건을 담당자와 거꾸로 추적합니다. 사람의 확인이 어디에 있고 어디에 없는지를 그림으로 그립니다.

넷째 주에는 같은 자리로 돌아갑니다. 첫째 주에 앉았던 그 부서에 다시 갑니다. 같은 시간대, 같은 업무를 다시 적고 첫째 주 기록과 나란히 놓습니다. 무엇이 반복되고, 무엇이 달라졌고, 무엇이 사라졌는지를 봅니다. 이 비교를 분기마다 이어가면 해스컬의 1제곱미터처럼 한 부서의 변화가 기록으로 쌓입니다.

장표: Imaginethat AI Research (필자 제안)

한 가지 덧붙이자면, 관찰 기록을 정리하는 데는 AI를 써도 좋습니다. 손으로 적은 메모를 옮겨 적고, 비슷한 장면끼리 묶고, 4주 전 기록과 달라진 점을 표로 뽑는 일은 AI가 잘합니다. 다만 무엇을 볼지, 어느 자리에 앉을지, 어떤 장면을 적을지는 사람이 정해야 합니다. 관찰의 뒷정리는 맡길 수 있어도 관찰 자체는 맡길 수 없습니다. AI에게 현장 요약을 받아 보는 것과 현장에 앉아 보는 것은 다른 일입니다. 앞의 것은 이미 누군가 고른 장면을 받아 보는 것이고, 뒤의 것은 무엇을 고를지부터 스스로 정하는 것입니다.

관찰자는 누가 되어야 할까요. 혁신 담당 임원이나 외부 컨설턴트에게 맡기는 것도 방법입니다. 레고처럼 전문 조사 회사와 함께 할 수도 있습니다. 그러나 적어도 한 번은 AI 투자를 최종 승인하는 사람이 직접 해 보기를 권합니다. 래플리는 CEO가 된 뒤에도 신흥국 가정을 방문하고 소비자의 장보기에 따라나섰다고 말했습니다. 보고를 받는 사람과 현장을 본 사람이 같을 때, 보고서의 숫자를 읽는 눈도 달라지기 때문입니다.

이 프로토콜에서 중요한 것은 횟수나 형식이 아닙니다. 기록을 남기는 것, 그리고 기록을 같은 형식으로 반복하는 것입니다. 노바가 강조한 원칙도 연속성이었습니다. 한 번의 현장 방문은 기념사진으로 끝나기 쉽습니다. 같은 자리를 같은 방식으로 다시 봐야 변화가 데이터가 됩니다.

10. 결국 경영진이 정해야 한다

AI는 점점 더 많은 것을 대신 봐줍니다. 회의록을 요약하고, 고객 리뷰 수천 건을 분류하고, 매출 데이터에서 이상 신호를 찾아냅니다. 이 능력은 실제로 쓸모가 있습니다. 맥킨지 조사에서 80%가 개인 생산성이 올랐다고 답한 데는 이유가 있습니다.

그러나 AI가 대신 봐주는 범위가 넓어질수록 경영진이 직접 보는 범위는 좁아지기 쉽습니다. 요약은 요약하기로 정한 것만 담고, 대시보드는 세기로 정한 것만 셉니다. 무엇을 셀지, 무엇을 요약할지는 결국 사람이 정합니다. 그 기준을 정하는 사람이 현장을 보지 않았다면, 기준은 현장과 조금씩 어긋나고 그 어긋남은 숫자에 나타나지 않습니다. 타이드 상자 설문이 수년 동안 "만족"을 가리켰던 것처럼 말입니다.

정리하면 이렇습니다. 첫째, AI 성과를 묻는 설문과 대시보드는 체감과 사용량을 보여줄 뿐 일이 실제로 바뀌었는지는 보여주지 않습니다. METR 실험이 보여주듯 체감은 실측과 반대 방향일 수도 있습니다. 둘째, 성과를 낸 소수의 기업은 AI를 기존 업무에 끼워 넣는 대신 업무 흐름을 다시 설계했습니다. 업무 흐름을 다시 설계하려면 지금의 흐름이 실제로 어떻게 돌아가는지부터 알아야 하고, 그것은 현장에서만 보입니다. 셋째, 관찰은 타고난 감각이 아니라 연습할 수 있는 기술입니다. 노바가 19가지 연습을 책으로 남긴 이유도 거기 있습니다.

AI 전환을 맡은 경영진에게 이번 분기 할 일을 하나만 고르라면, 이렇게 권하겠습니다. 다음 AI 성과 보고 회의 전에 반나절을 비워, AI를 가장 많이 쓴다는 부서의 한 자리 옆에 앉아 보십시오. 아무것도 묻지 말고, 보이는 것을 모두 적으십시오. 그 종이 한 장이 다음 분기 AI 예산을 어디에 쓸지 정하는 데 대시보드보다 더 많은 것을 알려줄 수 있습니다.

검증 메모

원문을 직접 열어 확인한 자료

• 맥킨지, The State of AI in 2026(2026-08-25): EBIT 기여 37%, 고성과 기업 약 6%, 개인 생산성 향상 80%. 링크

• BCG, AI at Work 2025(2025-06-26): 리더·관리자 4분의 3 이상 주 수회 사용, 일선 51% 정체, 1만 600여 명·11개국. 링크

• METR, arXiv 2507.09089(2025-07): 개발자 16명, 과제 246건, 사전 예측 -24%, 사후 체감 -20%, 실측 +19%. 링크

• Brynjolfsson·Li·Raymond, NBER WP 31161(2023): 상담원 5,179명, 평균 14%, 초보 34%. 링크

• 니콜라 노바 생애와 학위: HEAD-Genève 추모 페이지, 제네바대 사회학과 부고. 링크 , 링크

• 클라르나 보도자료(2024-02-27). 링크

• 에어캐나다 챗봇 결정(CBC, 2024-02): 판결문 원문(CanLII 2024 BCCRT 149)은 접속이 막혀 CBC 보도로 확인. 링크

• 맥도날드·IBM 드라이브스루 종료(BBC, 2024-06-18). 링크

• 질로우 오퍼스 종료(CNBC, 2021-11-02). 링크

• 레고 위기와 회복(가디언 2017-06-04, AP/NBC 2006-02-15), 마드스비에르그 HBR 기고(2014-03). 링크 , 링크

• 인튜이트 Follow Me Home 안내(관찰, 보여달라기, 질문 순서). 링크

검색 스니펫이나 2차 자료로만 확인한 내용

• P&G 타이드 상자 일화와 래플리 발언(Economic Times, 2008-04-29). 링크

• 클라르나의 사람 상담 재강화(블룸버그 2025-05-08, 유료 기사라 제목과 후속 보도만 확인). 링크

• 모건스탠리 평가 체계와 98% 사용률(오픈AI, AI in the Enterprise, 2025). 회사 측 수치. 링크

• HBR 워크슬롭 조사(2025-09-22, BetterUp Labs·스탠퍼드 소셜미디어랩, 1,150명, 40%). 링크

• 가트너, 에이전트형 AI 프로젝트 40% 이상 2027년 말까지 취소 전망(2025-06-25). 링크

• 대한상의 경제연구원, 생성형 AI 활용의 대-중소기업 격차(2026-06-11, 근로자 약 3,000명). 지역 상의 전재본으로 확인. 기업 도입률이 아니라 근로자 개인 활용률입니다.

• 섹션(Section), AI Proficiency Report(2026-01)와 월스트리트저널 보도(2026-01-21). 링크

• 아마존 저스트 워크 아웃 공식 블로그(2024-04-17). 링크

• MIT NANDA, The GenAI Divide(2025-07)와 비판(Futuriom 2025-08-26).

• 루시 서치먼의 PARC 복사기 연구와 『Plans and Situated Actions』(1987), 오노 다이이치와 겐치 겐부츠, 해스컬 『The Forest Unseen』(2012, 2013 퓰리처 최종 후보), 노바 한국어판 서지(책사람집, 2026-09-14). 위키백과와 출판 기사로 확인.

이미지 출처

• 오노 다이이치: 도요타자동차공업 사사 편집위원회, 퍼블릭 도메인. 링크

• 제록스 PARC 입구: Coolcaesar, CC BY-SA 3.0. 링크

• 콜센터: Petiatil, 퍼블릭 도메인. 링크

• 레고 하우스(빌룬): Sintakso, CC0. 링크

• 숲 바닥: Z3lvs, CC0. 링크,_Potawatomi_State_Park,_Wisconsin.jpg

• 파리 생쉴피스 광장 8번지: CVB, CC BY-SA 4.0. 링크

• 분석 장표 7장: Imaginethat AI Research 자체 제작. 각 장표 하단에 출처를 표기했습니다.