AI 전략, 결국 내가 이끌어야 한다면

요즘 어느 모임에 가도 결국 AI 이야기로 귀결됩니다. 기·승·전 → "야, 챗지피티한테 한번 물어봐봐"라는 시덥잖은 농담이 오가는 세상이죠. 골프장에서도, 조찬 모임에서도, 심지어 가족 저녁 자리에서도 마찬가지입니다.

최근 각종 강의와 컨설팅, 모임에서 만나 뵌 대표·C-Level 분들의 고민은 대개 하나로 모입니다. "보안에 저촉되지 않으면서 AI를 쓰게 하고, 취할 것은 취하는 마법 같은 방법은 없을까?" 결론부터 말씀드리면 정답은 없습니다. AI가 데이터를 학습하듯, 시행착오와 다양한 시도로 경험을 빠르게 축적하는 방법밖에 없습니다. 그래서 오늘은 제가 현장에서 직접 AI Lead를 하며 겪은 최상단 매니지먼트(대표단)의 고민, 그리고 실제로 실행했던 방안을 소견과 함께 나눠보려 합니다.

📌 3분 요약 — 승인권자가 결정할 것

1. 도입 여부는 이미 논쟁의 대상이 아닙니다. 생성형·에이전트형 AI는 지나가는 유행이 아니라 판을 바꾸는 파동입니다. 질문은 "쓸까 말까"가 아니라 "어떻게 안전하게, 우리 업에 밀착시켜 쓸까"입니다.

2. 대표가 먼저 직접 써봐야 합니다. 강사부터 부르지 마십시오. 순서가 틀리면 돈만 쓰고 "뭔 소린지 모르겠다"로 끝납니다. 직접 써보다 구체적 질문이 10건 이상 쌓였을 때 외부 전문가를 부르는 것이 비용 대비 효과가 가장 큽니다.

3. 학습은 '넓게'가 아니라 '우리 업에 뾰족하게'. EMBA·조찬모임은 네트워킹엔 좋아도 AI 역량 확보 경로로는 비효율적입니다.

4. 승인권자가 실제로 내려야 할 결정 3가지 — ① 보안 경계(무엇을 어떤 도구에 넣어도 되는가) ② 사내 AI 리드(오너십) 지정 ③ 작게 시작할 파일럿 업무 1개 선정. (본문 마지막 참고)

---

1. ChatGPT 같은 AI… 꼭 써야만 하나?

아직도 수많은 Legacy 사업 현장에서는 "AI 따위는 필요 없다"고 말하는 분들이 많습니다. 좁은 영역의 제조사부터 사람의 휴먼터치가 많이 들어가는 서비스 업종까지 두루 그렇습니다. 이런 분들은 대개 Digital/Tech 기술에 상당히 회의적이십니다. 과거에도 몇 번 배워보다가 "딱히 내 사업과는 상관없더라"는 나쁜 경험을 하셨기 때문이죠. ERP를 도입했다가 현장에 안 맞아 반쪽만 쓰고, 그룹웨어를 깔았다가 결재 도장 찍는 용도로만 남은 기억. 그래서 AI 기술조차 한 번 지나가는 유행으로 치부하는 경향이 강합니다.

그 마음, 인정할 부분도 있습니다. 실제로 지난 20년간 "이번엔 세상이 바뀝니다"라는 말은 수도 없이 반복됐으니까요. 그런데 저는 항상 이렇게 말씀드립니다. 생성형 AI는 과거 어떤 기술과도 비교하기 힘든 아주 큰 파동입니다. 이유는 단순합니다. 이전의 IT 도구들은 사람이 정한 규칙을 빠르게 처리해 주는 '자동화'였습니다. 정해진 칸에 숫자를 넣으면 정해진 답이 나오는 식이죠. 하지만 생성형 AI는 규칙을 정해주지 않아도 맥락을 읽고, 초안을 만들고, 판단의 근거를 제시합니다. 도구보다 '일을 아는 신입 직원'에 가깝습니다.

게다가 최근에는 손과 발이 달린, 즉 도구를 직접 쓰는 Agentic AI로 넘어갔습니다. 예전의 AI가 "이렇게 쓰면 됩니다"라고 알려주는 조언자였다면, 지금의 AI는 직접 검색하고, 문서를 열고, 표를 만들고, 메일 초안까지 써서 가져옵니다. 이 차이는 생각보다 큽니다. 조언자는 사람이 다시 실행해야 하지만, 실행하는 AI는 사람의 시간을 통째로 돌려줍니다. Legacy 영역의 대표님들이 이제는 눈을 뜨고 바라보셔야 할 시점이 온 이유가 여기에 있습니다.

그래서 결론은 하나입니다. 무조건 쓰셔야 합니다. "방구석에 놓고 나중에 쓰겠다"는 분들껜 정말 죄송하지만, 옆의 경쟁사는 이미 시작했습니다. 여기서 무서운 것은 경쟁사가 'AI를 잘 써서' 앞서가는 게 아니라는 점입니다. AI를 먼저 만지작거린 조직은 어디에 쓰면 되고 어디엔 안 되는지를 먼저 알게 됩니다. 이 감각의 격차가 1년이 쌓이면, 나중에 돈을 두 배로 써도 따라잡기 어려운 거리가 됩니다. FOMO(뒤처질까 봐 조급해하는 심리)라는 말로 가볍게 넘기기엔, 이건 이미 현실입니다. 도입은 선택이 아니라 의무에 가까워졌습니다.

물론 "무조건 쓰라"는 말이 "아무 데나 다 넣으라"는 뜻은 아닙니다. 뒤에서 다시 말씀드리겠지만, 쓰되 경계를 긋고 쓰는 것이 핵심입니다. 회의적인 대표님께 제가 늘 드리는 첫 숙제는 거창한 도입 계획서 대신 "이번 주에 반복적으로 하시는 일 중 가장 지겨운 일 하나"를 AI에게 시켜보시라는 것입니다. 대부분 그 한 번의 경험에서 태도가 바뀝니다.

2. AI 좀 배워보려고 강사를 불렀더니… 뭔 소린지 모르겠다

AI 교육 열풍은 공공·민간을 가리지 않습니다. 저 역시 스케줄이 비지 않을 정도로 매일같이 강의를 다니고 있고, 규모가 되는 기업은 사내 AI 강사를 직접 선발하려는 노력까지 보입니다. 좋은 흐름입니다. 그런데 여기에 함정이 하나 있습니다. 강의는 대개 유명 유튜버나 AI 엔지니어가 기술 언어 중심으로 설명하는 경우가 많다는 것입니다.

트랜스포머가 어떻고, 파라미터가 몇 개고, 토큰이 어떻게 처리되고… 물론 다 중요한 이야기입니다. 하지만 비개발 직군 청중, 특히 대표단 입장에서는 첫 10분 만에 "뭔 말인지 하나도 모르겠다"가 됩니다. 그리고 아주 자연스럽게 옆에 있는 비서실장이나 기획팀장에게 "자네가 공부 좀 해놓게"라며 넘기시게 됩니다. 이 순간, AI 도입은 대표의 의제에서 실무자의 숙제로 강등됩니다. 리더가 감을 못 잡은 프로젝트가 조직에서 힘을 받는 경우는 없습니다.

저는 순서가 틀렸다고 봅니다. 먼저 대표님이 직접 써보셔야 합니다. 강의는 그다음입니다. 상상하고픈 모든 영역을 스스로 AI와 시간을 보내며 물어보십시오. 우리 회사 제품 소개를 다시 써달라고 해보고, 어제 받은 계약서에서 불리한 조항을 짚어달라고 해보고, 경쟁사 IR 자료를 요약해 달라고 해보십시오. 그렇게 쓰다 보면 반드시 갑자기 드는 궁금증이 생깁니다. "이건 왜 이렇게 답하지?", "우리 내부 자료를 넣어도 안전한가?", "더 정확하게 시키려면 어떻게 말해야 하지?" 같은 것들이죠.

그 궁금증이 최소 10건 이상 쌓였을 때 과외든 외부 강사든 섭외해 물어보는 방식이 가장 효율적입니다. 이유는 분명합니다. 질문이 없는 상태에서 듣는 강의는 지식이지만, 질문을 품고 듣는 강의는 답입니다. 같은 두 시간을 써도 남는 것이 완전히 다릅니다. 실제로 제가 만난 대표님들 중 AI를 가장 빠르게 체화하신 분들은 예외 없이 "먼저 손으로 실컷 헤매본 뒤" 저를 찾아오신 분들이었습니다.

정리하자면, 대표님을 위한 첫 2주는 이렇게 설계하시길 권합니다. 1주 차에는 매일 30분씩 실제 업무를 AI에게 시켜보며 막히는 지점을 메모하십시오. 2주 차에는 그 메모가 10개를 넘기면, 그것을 그대로 들고 전문가를 만나십시오. 강사에게 "AI가 뭔가요"라고 묻지 말고 "이 10가지가 안 됐는데 왜 그런가요"라고 물으시면 됩니다. 이 순서만 지켜도 교육비의 효율이 몇 배로 뜁니다.

그리고 한 가지 더. 적당히 유행처럼 재미로 배우기엔 AI라는 분야가 너무 넓고 깊습니다. 이미지 생성, 문서 자동화, 데이터 분석, 코딩, 에이전트 구축… 모두 배우려다간 아무것도 못 배웁니다. 그렇기에 우리는 우리 업을 먼저 잘 정의하고, 그 업에 밀착시켜 AI가 파고들 길을 찾아 배워야 합니다. 넓게 말고, 더 뾰족하게. "AI를 배운다"가 아니라 "우리 회사의 견적서 작성을 AI로 반으로 줄인다"가 되어야 합니다.

3. 나도 AI 대학원이나 다녀볼까요?

대표님들 중에는 Executive MBA나 전문 경영자 과정을 통해 AI를 배워보려는 분들이 계십니다. 아마 사업상 네트워킹 목적이 더 크실 겁니다. 그 자체는 정말 좋습니다. 좋은 사람들을 만나고, 시야를 넓히고, 새로운 기회를 얻는 자리로서 학위 과정과 조찬 모임은 분명한 가치가 있습니다.

다만 AI를 '그 자리에서 배우겠다'는 목적이라면 재고를 권합니다. AI는 그런 네트워킹 자리에서 직접 배우기엔 난도가 높고, 외람되지만 그 자리에 함께 계신 다른 회사 회장·사장단 역시 깊이 알고 계신 경우는 많지 않습니다. 서로 "요즘 그거 해보셨어요?" 정도의 대화가 오갈 뿐, 실질적인 역량으로 이어지긴 어렵습니다. 오히려 "다들 아직 잘 모르더라"는 안도감만 얻고 돌아오시는 경우도 많습니다. 그 안도감이 가장 위험합니다.

그래서 조찬 모임에 오시는 분들께 제가 드리는 말씀은 분명합니다. 학위나 모임은 '동기부여'와 '인맥'을 위한 것이지, '실무 역량'을 위한 경로가 아닙니다. AI 역량은 강의실 밖, 내 업무 데이터와 내 손끝에서 쌓입니다. 게다가 이 분야는 속도가 무섭습니다. 한 학기짜리 커리큘럼이 끝나기도 전에 핵심 모델은 두세 번 바뀌고, 어제의 정답이 오늘의 옛날이야기가 됩니다. 그러니 값비싼 과정에 기대 "배워두면 언젠가 쓰겠지" 하기보다, 오늘 우리 회사의 실제 업무 하나를 붙잡고 AI에게 시켜보는 편이 백 배 낫습니다.

정리하면 — 배움의 무게중심을 '외부 교육'에서 '내부 실전'으로 옮기십시오. 외부(학위·강사·모임)는 막힌 10개의 질문을 뚫는 용도로만 써도 충분합니다. 조직의 AI 역량은 결국 '우리 일에 얼마나 붙여봤는가'의 총합이지, '얼마나 유명한 과정을 들었는가'의 총합이 아닙니다.

4. 그럼 뭘 먼저 시켜봐야 하나 — 첫 파일럿 고르는 법

여기까지 읽으신 대표님이라면 이제 "그래서 뭐부터?"가 궁금하실 겁니다. 첫 파일럿을 고르는 기준은 세 가지면 충분합니다.

첫째, 반복적이고 지겨운 일일 것. 매주·매일 반복되는 정형 업무일수록 AI가 빠르게 성과를 냅니다. 회의록 정리, 견적서 초안, 고객 문의 1차 응대, 보고서 요약 같은 것들이죠. 사람이 하기엔 아깝고 안 하기엔 쌓이는, 딱 그런 일이 1순위입니다.

둘째, 틀려도 회사가 안 망하는 일일 것. 첫 파일럿부터 계약 검토나 재무 마감처럼 실수가 치명적인 영역을 고르면, 한 번의 오류로 프로젝트 전체가 신뢰를 잃습니다. AI가 초안을 만들고 사람이 검수하는 구조가 자연스러운 업무가 좋습니다.

셋째, 성과가 눈에 보이는 일일 것. "원래 3시간 걸리던 게 30분이 됐다"처럼 숫자로 말할 수 있어야 조직이 움직입니다. 감동은 체감에서 옵니다. 첫 성공 사례 하나가 조직 전체의 심리적 저항을 녹입니다.

이 세 조건을 만족하는 업무 하나를 골라 4~6주만 돌려보십시오. 그 안에서 나온 "되네?"라는 한마디가, 백 장짜리 도입 계획서보다 조직을 훨씬 크게 움직입니다.

5. 현장에서 자주 마주치는 세 가지 오해

AI 도입을 앞둔 대표님들과 이야기하다 보면 반복해서 마주치는 오해가 있습니다. 이 셋만 풀어도 첫걸음이 한결 가벼워집니다.

오해 1 — "완벽하지 않으면 못 쓴다." AI가 가끔 틀린 답(할루시네이션)을 내놓는다는 이유로 도입을 미루는 분들이 계십니다. 하지만 우리는 신입 직원에게도 처음부터 완벽을 기대하지 않습니다. AI는 초안을 빠르게 만들고 사람이 검수하는 구조로 쓰는 것이 정석입니다. 0을 1로 만드는 시간을 아껴주는 것만으로도 이미 충분히 남는 장사입니다.

오해 2 — "우리 회사는 특수해서 AI가 못 한다." 거의 모든 대표님이 이렇게 말씀하십니다. 그런데 막상 업무를 뜯어보면, 회사마다 특수한 부분은 20%이고 나머지 80%는 요약·정리·초안·분류처럼 어느 회사에나 있는 일입니다. 특수한 20%는 사람이 지키고, 흔한 80%를 AI에게 넘기는 것이 현명합니다.

오해 3 — "직원들이 일자리를 잃을까 봐 걱정된다." 현장에서 관찰한 바로는, AI가 사람을 대체하기보다 AI를 쓰는 사람이 안 쓰는 사람을 대체합니다. 그래서 리더가 할 일은 "누구를 줄일까"가 아니라 "어떻게 하면 우리 팀 전원이 AI를 손에 쥐게 할까"입니다. 두려움을 관리의 언어로 바꾸는 것, 그것이 리더의 몫입니다.

6. 보안이 걱정된다면 — 겁먹지 말고 등급을 나누십시오

가장 많이 받는 질문이 보안입니다. 그리고 이 걱정 때문에 아예 문을 걸어 잠그는 조직도 많습니다. 하지만 "무조건 금지"는 관리가 아니라 방치입니다. 직원들은 어차피 개인 휴대폰으로 몰래 쓰게 되고, 그때는 회사가 통제할 방법이 아예 없어집니다. 금지는 위험을 눈에 안 보이는 곳으로 옮길 뿐입니다.

해법은 의외로 단순합니다. 데이터를 세 등급으로 나누는 것입니다. ① 공개해도 되는 자료(보도자료, 홈페이지 문구, 일반 지식) → 어떤 AI 도구든 자유롭게. ② 내부 업무 자료(내부 보고서, 회의록) → 회사가 계약한 기업용 도구에서만. ③ 민감 정보(고객 개인정보, 미공개 재무, 계약 원본) → 외부 도구 반입 금지 또는 온프레미스 환경에서만. 이 세 줄짜리 원칙을 종이 한 장에 적어 공유하는 것만으로도, 현장의 불안과 사고 위험이 동시에 크게 줄어듭니다. 완벽한 보안 정책은 나중에 다듬으면 됩니다. 중요한 것은 오늘 쓸 수 있는 경계선을 먼저 긋는 것입니다.

7. AI 리드에게 무엇을 맡기고, 무엇을 직접 쥐어야 하나

파일럿을 맡길 사내 AI 리드를 정했다면, 리더로서 권한을 어디까지 위임할지도 함께 정해야 합니다. 여기서 자주 흔들립니다. 너무 다 쥐고 있으면 리드가 움직일 수 없고, 너무 다 넘기면 방향이 산으로 갑니다.

제가 권하는 선은 이렇습니다. '어떻게'는 리드에게 맡기고, '무엇을·왜'는 대표가 쥐십시오. 어떤 도구를 쓸지, 어떤 순서로 실험할지, 어떤 프롬프트가 잘 먹히는지 같은 실행의 디테일은 현장에 맡기는 편이 빠릅니다. 반면 "우리가 왜 이걸 하는지", "성공을 무엇으로 판단할지", "어디까지가 넘지 말아야 할 선인지"는 대표가 직접 정하고 반복해서 말해줘야 합니다. 이 방향성이 흔들리면 리드는 아무리 유능해도 표류합니다.

그리고 리드에게 실패할 권한을 명시적으로 주십시오. AI 파일럿의 절반은 원래 안 됩니다. "안 되는 걸 빨리 확인하는 것"도 성과라고 공개적으로 말해주는 리더 아래에서만, 조직은 눈치 보지 않고 빠르게 실험합니다. 실패를 벌하면, 다음부터는 되는 척하는 보고서만 올라옵니다.

8. 대표가 직접 반년을 써보면 생기는 변화

마지막으로, 왜 이 모든 이야기의 출발점이 "대표가 직접"인지 한 번 더 짚고 싶습니다. 제가 현장에서 지켜본 바로는, 대표님이 직접 반년쯤 AI를 손에 쥐고 있으면 조직에 세 가지 변화가 생깁니다.

첫째, 회의의 질문이 바뀝니다. "그거 AI로 되나?"에서 "그거 왜 아직 AI로 안 하고 있지?"로 바뀝니다. 리더의 질문이 바뀌면 조직 전체의 기본값이 바뀝니다. 실무자들은 리더가 무엇을 당연하게 여기는지를 정확히 읽고 거기에 맞춥니다. 리더가 직접 쓰지 않으면, 아무리 좋은 지시를 내려도 "또 유행 따라가시나" 하는 냉소가 조용히 조직에 퍼집니다.

둘째, 의사결정 속도가 빨라집니다. 직접 써본 대표는 AI가 무엇을 잘하고 무엇을 못하는지 감이 있기 때문에, 아래에서 올라오는 제안을 판단하는 데 시간이 훨씬 덜 걸립니다. 반대로 감이 없는 리더는 매 제안마다 "정말 되는 거 맞아?"를 반복하며 결정을 미루고, 그 사이 조직은 멈춰 섭니다. AI 시대의 경쟁력은 종종 결정의 속도에서 갈립니다.

셋째, 허황된 기대와 근거 없는 공포가 동시에 사라집니다. 직접 써본 사람만이 AI를 과대평가하지도, 과소평가하지도 않습니다. "만능 마법"도 아니고 "쓸모없는 유행"도 아닌, 잘 쓰면 강력한 도구라는 현실 감각. 이 균형 잡힌 시선이야말로 리더가 조직에 줄 수 있는 가장 값진 것입니다. 막연한 기대는 예산 낭비로, 막연한 공포는 기회 상실로 이어집니다. 둘 다 직접 써본 리더에게는 잘 생기지 않는 병입니다.

그리고 이 감각은 위임할 수 없습니다. 재무는 CFO에게, 법무는 변호사에게 맡길 수 있지만, "우리 조직이 AI로 어디까지 갈 것인가"라는 방향 감각만큼은 대표 본인의 손끝에서만 자랍니다. 남이 대신 써주고 요약해 준 지식으로는 결코 생기지 않습니다.

그러니 오늘 이 글을 덮으시면, 강사를 검색하지 마시고 먼저 AI 창을 하나 열어 보십시오. 우리 회사에서 가장 지겨운 반복 업무 하나를 떠올리고, 그것을 시켜 보십시오. 완벽하지 않아도 괜찮습니다. 그 어설픈 첫 시도 안에, 우리 조직의 AI 전략이 이미 시작되고 있습니다.

---

그래서, 승인권자는 무엇을 결정해야 하는가

지위가 높을수록 좋은 이야기는 "잘 들었다"로 끝나기 쉽습니다. 그러나 AI는 결재 한 줄로 조직의 일하는 방식을 바꿉니다. 대표·C-Level이 이번 주 안에 내려야 할 결정은 다음 세 가지입니다.

1. 보안 경계선 긋기. 위에서 말씀드린 세 등급을 한 장으로 정하십시오. 이 경계가 없으면 직원들은 겁이 나서 안 쓰거나, 몰래 쓰다 사고를 냅니다. 둘 다 최악입니다.

2. 사내 AI 리드(오너십) 지정. "다 같이 열심히"는 아무도 책임지지 않는다는 뜻입니다. 기술자가 아니어도 좋습니다. 오히려 우리 업을 잘 아는 사람, 현장의 병목을 아는 사람에게 오너십을 주는 편이 낫습니다. 이 사람에게 시간과 예산, 그리고 실패할 권한을 함께 주십시오.

3. 파일럿 업무 1개 선정. 전사 도입 말고, 반복적이고·틀려도 안전하고·성과가 눈에 보이는 업무 하나부터. 4~6주 안에 작은 성공을 만들어야 다음 단계로 넘어갈 명분이 생깁니다.

한 줄 요약: 도입 여부를 고민할 시간에, 대표님이 직접 써보고 → 보안 경계를 긋고 → 업무 하나를 붙잡으십시오. AI 전략은 회의실이 아니라 현장에서 시작됩니다.

AI를 이끄는 일은 최신 기술을 가장 먼저 아는 일이 아닙니다. 우리 조직이 무엇을 잘하고 어디서 시간을 흘리는지를 가장 잘 아는 사람이, 그 위에 AI라는 새 지렛대를 얹는 일입니다. 그 지렛대의 손잡이는, 다른 누구도 아닌 대표님의 손에 가장 잘 맞습니다.

---

본 글은 시리즈 1편입니다. 이어지는 2편에서는 '파일럿에서 전사 확산으로 넘어가는 구간 — 작은 성공을 조직의 표준으로 만드는 법'을 다룰 예정입니다.