실패한 실험을 항상 기록하는 이유

새벽 두 시가 조금 넘은 시각이었다. 나는 사무실 의자에 앉아 모니터 속 그래프 하나를 바라보고 있었다. 손실 함수의 곡선은 이미 한 시간 전부터 거의 수평이었고, 가끔 아주 조금씩 위로 튀었다가 다시 내려오기를 반복했다. 커피는 식은 지 오래였고, 창밖에는 간간이 지나는 택시의 소리만 들렸다. 모델은 학습을 멈추지 않았다. 나는 그저 그것을 지켜보고 있었다.

이 일을 오래 하다 보면 깨닫게 되는 것이 있다. 연구라는 것이 화면 속 숫자와의 싸움이기 이전에, 기다림과의 싸움이라는 사실을. 논문에는 쓰이지 않는 시간이 실험의 대부분을 차지한다. 어떤 가설이 맞는지 틀리는지 알기까지 걸리는 시간, 그 사이에 스스로를 의심하게 되는 시간, 그리고 의심 끝에 다시 제자리로 돌아와 같은 코드를 고쳐 쓰는 시간. 그 시간들이 쌓여서 겨우 결과 하나가 나온다.

결과지가 말해주지 않는 것들

지난해 우리 팀이 내부 결과지를 정리하면서 나는 오랫동안 한 페이지를 들여다보았다. 잘 정제된 표와 그래프, 깔끔하게 떨어지는 수치들. 보고서는 분명 성공의 형태를 하고 있었다. 그런데 그 페이지 어디에도 실패한 스물네 번의 실험은 적혀 있지 않았다. 하이퍼파라미터를 잘못 잡아서 사흘을 날린 일, 데이터 정제가 어긋나서 일주일 치 학습을 통째로 버린 일, 어느 화요일 밤에 의미 없는 로그를 두 시간 동안 읽으며 보낸 일. 그것들은 기록되지 않았고, 그래서 존재하지 않는 일처럼 보였다.

성공만 남은 문서는 연구를 실제보다 훨씬 깔끔하게 보이게 한다. 마치 순서대로 진행되면 누구나 같은 결과에 도달할 수 있는 일처럼. 하지만 실제 연구는 그렇게 진행되지 않는다. 갈림길마다 표지판이 없고, 막다른 길에 들어섰다는 사실은 언제나 한참 뒤에야 드러난다. 우리는 매주 그런 길에 들어서고, 조용히 되돌아 나온다. 그리고 되돌아 나온 길에 대해서는 아무에게도 말하지 않는다.

나는 이 침묵이 이 분야의 문화라고 생각한다. 그리고 이 문화가 꽤 오래된 것이라고 생각한다. 모두가 실패를 겪지만, 아무도 실패를 말하지 않는다. 그래서 이 일을 시작한 지 얼마 되지 않은 사람들은 자신만 유독 헤매고 있다고 느낀다. 사실은 모두가 헤매고 있는데도.

진정성이라는 단어에 대하여

진정성이라는 단어를 처음 진지하게 생각하게 된 것은 어느 발표 자리에서였다. 한 연구자가 자신의 모델이 세운 기록을 설명하면서, 질의응답 시간에 누군가 물었다. "이 설정에서 잘 안 되는 경우는 없었나요?" 그는 잠깐 멈칫하더니 말했다. "있었는데, 다 설명하기에는 시간이 부족해서요." 회의실은 곧 다음 질문으로 넘어갔지만 나는 그 순간을 오래 기억했다. 시간이 부족해서가 아니라, 말하지 않는 쪽을 택한 것이다. 그 선택은 아주 자연스러웠고, 아마 나도 같은 자리에 섰다면 같은 선택을 했을 것이다.

우리는 읽는 사람에게는 성공만 보여주고, 스스로에게는 실패만 남긴다. 이 비대칭은 오래 쌓이면 사람을 이상하게 만든다. 발표할 때는 확신에 찬 사람이 되었다가, 혼자 있는 밤에는 자신이 하는 일의 절반을 의심하는 사람이 된다. 두 모습 사이의 간격이 넓어질수록, 연구자는 자기 결과를 믿지 못하게 된다. 내가 본 진정성의 위기는 대중 앞에서의 거짓말이 아니라, 이 간격이었다.

그래서 나는 어느 순간부터 다른 방식으로 글을 쓰기 시작했다. 결과지의 맨 뒤에, 작은 글씨로나마 실패했던 접근들을 적기로 했다. 이 가설은 이런 이유로 접었다. 이 데이터는 이런 문제가 있었다. 이 수치는 재현이 잘 되지 않는다. 처음에는 아무도 읽지 않을 줄 알았다. 그런데 시간이 지나자 이상한 일이 생겼다. 부끄러워서 숨겨 두었던 실패의 기록들이, 가장 먼저 인용되기 시작한 것이다. 같은 함정에 빠지기 직전의 연구자들이 그 문단에서 발검음을 멈췄다는 이메일을 여러 통 받았다.

밤의 서버실에서 생각한 것

서버실에는 계절이 없다. 팬 소리는 여름에도 겨울에도 똑같고, 복도의 형광등은 새벽이나 한낮이나 같은 색이다. 그 안에 오래 있다 보면 시간이 이상해진다. 모델은 쉬지 않고 학습을 이어가는데, 정작 그것을 만든 사람은 쉬지 않으면 무너진다는 사실을, 나는 꽤 늦게 배웠다.

한동안 나는 밤을 새우는 것이 이 일의 성실함의 증거라고 믿었다. GPU가 도는 동안 사람도 깨어 있어야 한다고. 그러나 어느 날 문득 생각했다. 모델이 밤새 배우는 동안 내가 할 수 있는 일은 아무것도 없다고. 손실 곡선을 빤히 쳐다본다고 곡선이 더 빨리 내려가지 않는다. 그때부터 나는 학습을 돌려 놓고 집에 가서 잤다. 그리고 아침에 돌아와 결과를 봤다. 이상하게도, 그렇게 하기 시작한 뒤로 결과를 보는 눈이 조금 더 정직해졌다. 밤새 함께하지 않았기 때문에 오히려 실패를 실패라고 부를 수 있게 된 것인지도 모른다.

요즘 나는 기다림의 시간을 다르게 쓴다. 학습이 도는 동안 노트를 연다. 이번 실험에서 무엇을 기대했는지, 만약 실패한다면 그 이유가 무엇일지 미리 적어 둔다. 결과가 나온 뒤에 적는 것과 결과가 나오기 전에 적는 것은 완전히 다르다. 전에 적은 글은 정직하고, 뒤에 적는 글은 변명이 되기 쉽다. 이 간단한 습관 하나가, 내 연구의 진정성을 지키는 데 가장 큰 역할을 했다고 나는 생각한다.

독자에게 하고 싶은 약속

이 플랫폼에 글을 쓰면서 나는 스스로에게 약속 하나를 세웠다. 잘 모르는 것은 잘 모른다고 쓰자. 불확실한 것은 불확실하다고 쓰자. 그리고 우리가 실제로 실패한 이야기를, 실패한 채로 전하자. 이 세 가지는 너무 평범해서 약속이라고 부르기도 민망하지만, 지키기는 생각보다 어렵다. 확신해 보이는 문장이 읽기에 좋고, 읽기에 좋은 글이 퍼진다는 사실을 나도 알기 때문이다.

그럼에도 이 약속을 택한 이유는 하나다. 오래 가고 싶어서다. 겉으로 완벽한 연구자의 모습을 유지하는 것은 생각보다 빨리 사람을 소진시킨다. 반대로 모르는 것을 모른다고 말하는 순간, 이상하게도 계속 쓸 힘이 생겼다. 독자들도 마찬가지였다. 한계를 고백한 글에 가장 긴 답장이 왔고, 실패를 적은 글에 가장 진지한 질문이 달렸다. 사람들은 완벽한 사람의 이야기보다, 자기와 비슷하게 헤매는 사람의 이야기를 더 오래 기억한다.

인공지능에 관한 글이 매일 쏟아진다. 대부분은 새로운 기록과 놀라운 결과에 관한 것이다. 그런 글들이 필요 없다는 말은 아니다. 다만 그런 글 사이에서, 조용히 실패와 기다림과 의심에 관한 글도 하나쯤은 있어야 한다고 믿는다. 기술이 어디까지 왔는지 아는 것만큼, 그 기술이 어떤 밤들을 거쳐 왔는지 아는 것도 중요하기 때문이다.

숫자 앞에서

이 바닥에서 가장 조심해야 하는 것은 숫자다. 숫자는 정직해 보이지만, 사실은 질문에 따라 얼마든지 다른 얼굴을 한다. 벤치마크를 고르는 순간, 데이터를 자르는 순간, 평균을 낼지 최댓값을 낼지 고르는 순간마다 우리는 작은 선택을 한다. 그 선택 하나하나는 무해해 보이지만, 열 개가 모이면 결과의 얼굴이 바뀐다. 나는 그 선택들을 '조작'이라고 부르고 싶지 않다. 대부분은 선의에서 나온다. 스스로 믿고 싶은 마음이, 확인하고 싶은 결론이, 눈앞의 숫자를 조금씩 밀어 준다.

몇 년 전 나는 한 실험에서 기대하던 수치가 나오지 않자, 거의 무의식적으로 평가 설정을 세 번 바꿔 보았다. 세 번째 설정에서 드디어 원하는 숫자가 나왔고, 나는 잠깐 안도했다. 그리고 곧 알아챘다. 내가 한 일은 질문에 답한 것이 아니라, 답에 맞는 질문을 찾은 것이라는 사실을. 그날 나는 그 숫자를 쓰지 않았다. 대신 노트에 이렇게 적었다. '오늘 나는 나를 속일 뻔했다.' 그 문장은 지금도 가끔 다시 읽는다. 가장 설득력 있는 거짓말은 남이 하는 거짓말이 아니라, 내가 나에게 하는 거짓말이기 때문이다.

이 경험 이후로 나는 수치를 볼 때 한 가지 규칙을 지킨다. 결과가 좋을 때일수록 더 불편한 질문을 한다. 이 수치가 재현되는가. 다른 데이터에서도 그런가. 우리가 측정하지 않은 것은 무엇인가. 좋은 결과 앞에서 불편한 질문을 하는 것은 즐거운 일이 아니다. 하지만 그 불편함의 크기가, 그 결과를 믿어도 되는 정도와 거의 정확히 비례한다는 것을 나는 경험으로 알게 되었다.

함께 밤을 새우는 사람들

연구는 혼자 하는 것 같지만, 실제로는 언제나 함께 하는 일이었다. 새벽 세 시에 슬랙 채널에 '혹시 이 에러 보신 분'이라는 메시지를 올리면, 십오 분 안에 누군가가 답을 달아 준다. 그 사람도 역시 깨어 있는 것이다. 우리는 서로의 밤을 지켜주는 사이였다. 실패한 실험의 로그를 함께 읽어 주는 일, '나도 그거 겪었어'라고 말해 주는 일, 아무 말 없이 치킨을 시켜 놓고 가는 일. 논문의 저자 목록에는 이름만 남지만, 그 이름 사이에는 이런 밤들이 있다.

한 번은 중요한 학습이 마감 이틀 전에 통째로 날아간 적이 있었다. 디스크 오류였다. 나는 복구할 수 있는 것이 없다는 사실을 확인하고 한참 동안 멍하니 앉아 있었다. 그때 옆 자리의 동료가 다가와 말했다. "로그 다 남아 있으니까, 설정만 다시 잡으면 돼요. 같이 해요." 우리는 그날 밤을 새워 설정을 복원했고, 이틀 뒤 마감을 지켰다. 그 일에 대해 그는 한 번도 공을 요구하지 않았다. 나는 그때 배웠다. 연구의 진정성이란 결과에 대한 정직함만이 아니라, 함께 일한 사람들의 이름을 정직하게 부르는 일이기도 하다는 것을.

그래서 나는 이제 글을 쓸 때마다 생각한다. 이 문장 뒤에 있는 사람들을. 밤의 서버실 온도를 확인하던 인프라 팀을, 라벨이 잘못된 데이터를 하나하나 고치던 주니어 연구자를, 실패한 가설을 정리해서 위키에 남겨 준 이름 없는 선배를. 기술은 사람이 만들고, 그 사람들은 대부분 기록되지 않는다. 이 글이 그들에 관한 기록이 되기를, 나는 조용히 바란다.

창밖은 이제 완전히 밝았다. 나는 식은 커피를 버리고, 새 커피를 내리러 일어섰다.