요즘 – 누구라도 그렇겠지만 – AI에 정말 많이 의존하고 있다. 일상 생활에서 간단한 의사 결정은 물론이고, 회사 전략을 고민할 때, 그리고 내가 반복하는 일들을 자동화할 때도. 예전에는 ‘어떻게 사용해야 가장 잘 사용하는 걸까?’ 해서 활용법도 찾아보고 유투브 비디오도 봤지만, 이제는 그냥 물어본다. 그냥 클로드/챗GPT 데스크탑 깔아서 열어두고, 긴 작업을 할 때는 클로드 코워크 (Claude Cowork), 짧은 대화는 그냥 대화. 내가 풀고 싶은 문제나 해결하고 싶은 게 있으면 일단 물어본다. 얼마 전에는 음성 메시지로 예전에 저장했던 내용을 전사(transcribe)하고 싶어서 챗GPT 에게 물어봤는데 맥에 홈브루(Homebrew) 환경 셋업하고 어떤 프로그램을 설치해서 실행하면 되는지 단계별로 알려줘서 내 맥에 대화 내용을 전사하는 기능을 만들었다.
개인적인 생산성 증가보다 훨씬 요즘 나를 신나게 하는 건 회사의 생산성 증가이다. 지난 2025년 11월 24일은 AI 역사에서 가장 큰 변화를 불러온 사건 중 하나로 기록될 만하다. 그 날이 Claude Opus 4.5 가 출시된 날이기 때문이다.
클로드가 원래 코딩에 강하다는 것은 처음 나올 때부터 알고 있었고, 그 전부터도 엔지니어들에게 코딩할 때 AI를 보조 수단으로 활용하라고 항상 이야기했었지만, Opus 4.5가 등장하면서부터는 이야기가 달라졌다. 그 전에는 AI 가 쓴 코드를 엔지니어들이 보면서 서투르다 이상하다 했었는데, 이 때부터는 정말 좋은 코드를 쓰기 시작한 것이다. 그 이후로 Opus 성능이 눈부시게 좋아져서, 가장 최근 배포된 Opus 5 버전에서는 무려 96%의 정확도를 보이고 있다.
올해 초에, 회사 전체 엔지니어링 방식 뿐 아니라 마케팅, 제품 관리 등 다른 영역까지도 전면 AI 를 활용하도록 전면 도입하도록 하고 3월 말에는 일주일짜리 ‘AI 해커톤’을 기획했다. 이 한 주 동안에는 고객 관리 또는 버그 수정 등 필수적인 일을 해야 하는 사람, 또는 계약직 몇 명만을 제외하고는 정직원들 전체에게 1주일간 하던 모든 일을 정지하고 해커톤을 하겠다고 공표했다. 그리고 1등은 1만 달러, 2등 5천 달러, 3등 3천 달러, 이렇게 해서 총 $18,000의 상금을 책정했다. AI를 활용하는 것인 만큼 팀은 만들지 않고 각 개인으로만 참여하게 했고, 제품 개발은 어떤 AI 툴을 써도 상관 없지만 주로 레플릿(Replit)을 활용하도록 했다.
이렇게 해서 일주일이 지난 후 전 직원이 제출한 결과를 보면서 전율을 느꼈다. 너무나도 훌륭한 아이디어가 많았고, 비디오, 프레젠테이션까지 너무나도 훌륭한 제출이 많았다. 모두가 빌더(builder)였고, 특히 데이터 엔지니어들의 활약이 돋보였다. 그 전까지는 디자이너나 제품 기획자들이 방향을 잡으면 데이터 엔지니어들이 데이터를 모으거나 파이프라인을 만드는 일을 하곤 했는데, 그들에게 제품 전체를 만들 수 있는 전권을 주니까 상상만 하던 일이 당장 팔아도 좋겠다 싶은 제품으로 만들어져 나왔다. 일주일 만에 한 사람이 이렇게 많은 진전을 만들 수 있다는 것이 놀라웠다. 풀스텍 엔지니어, 데이터 엔지니어, 프로덕트 매니저, 디자이너, 마케터 등의 타이틀을 모두 없애고 모든 타이틀을 빌더(builder)로 통일하면 어떨까 하는 생각까지 했다.
해커톤 이후로는 일하는 방식이 완전히 달라졌다. 일단 데빈(Devin)이라는 AI 엔니지어 제품을 적극 활용했는데, Devin이 사람처럼 슬랙 메시지에 들어와서 누구든 시키는 일을 해내는 것이다. 예를 들어 아래와 같다.
그러면 Devin이라는 AI 엔지니어가 즉시 일을 시작하고, 불과 25분 후에 내가 시킨 모든 일을 마무리한 후에 알려준다.
이 때 Devin에게 직접 로그인해서 해당 페이지로 가서 수정된 결과를 직접 보면서 녹화한 후에 검사 결과와 함께 녹화된 비디오를 올려달라고 할 수도 있고, 내가 직접 확인할 수도 있다. 각 코드 수정을 쉽게 확인할 수 있도록 자동으로 프리뷰(Preview)가 만들어지기 때문에 요청한 그 수정만 따로 확인하기가 무척 쉽게 되어 있다.
이렇게 해서 나를 비롯해서 프로덕트 매니저들이 Devin을 적극적으로 활용하기 시작했고, 얼마 안 가서 우리가 짜는 코드의 80% 가까이를 Devin이 만들어내는 정도에 이르렀다. 코드 수정은 Devin이 하지만, 이 수정된 결과를 배포/릴리즈하는 것은 여전히 엔지니어의 확인을 거치도록 했다. 그리고 뉴욕에 2명, 샌프란시스코에 2명, 서울에 2명을 이 팀에 배정했다. 이들은 AI가 짠 코드 확인만 하는 것은 아니지만, 다른 일을 하다가도 이 일이 생기면 바로 바로 처리할 수 있었다.
이렇게 하니 제품 개선 속도가 놀랍도록 빨라졌다. 내가 제품에서 뭔가 아쉽거나 불편한 점을 발견하자마자 Devin에게 일을 시켰고 (Devin이 의외로 디자인 감각도 뛰어났다. 디자인이 맘에 들지 않을 경우엔 레플릿에서 만들어보거나 클로드에게 일을 시켜서 만들어낸 다음에 Devin에게 던져줬다), 새벽에 시작한 일은 동부에 있는 엔지니어가, 오전에 시작한 일은 서부에 있는 엔지니어가, 그리고 저녁이나 밤에 시작한 일은 서울에 있는 엔지니어가 챙겼다. 이렇게 하니 웬만한 일은 24시간 내에 시작부터 배포까지 이루어질 수 있었다. ‘빛의 속도’라고 우리가 움직이고 있다고 생각한 건 이 때부터이다. 전에는 아이디어가 떠오르면 이를 제품 관리자에게 알리고, 그는 이 일을 아사나(Asana)에서 자신의 할 일 목록에 넣고 (이 때부터 처음의 아이디어는 희석되기 시작한다), 그 후 디자이너와 상의하고, 어느 정도 제품 기능이 구체화되면 엔지니어와 상의한다. 이 때쯤 되면 이미 2주가 지난 후이다. 엔지니어가 바로 일을 시작할 수 있는 경우는 거의 없으므로, 1, 2주쯤 지나서 일이 시작된다. 이렇게 진행되면 그로부터 1주일쯤 더 지나서 구현이 완료됐다고 연락이 온다. 이 때 내가 확인하면, 처음 생각했던 방향과는 조금 다르게 가 있는 경우가 많다. 물론, 내가 추상적으로 던진 아이디어가 훨씬 더 구체화되고 강해져 있는 경우가 많지만, 어떤 때는 지나치게 구체화되어 있거나, 중간에 오해를 해서 약간 다른 방향으로 가 있는 경우도 많았다. 이런 경우에 다시 수정을 요구하면 그 일에 참여했던 모든 사람들에게 너무 미안해지는 건 물론이다. 그래서 결국은 타협을 하게 된다. ‘이정도면 나쁘지 않네’, 하고 다음 기회에 더 개선하기로 한다. 결과적으로 제품은 이런 수많은 타협의 결과가 되고, 내가 보거나 어떤 고객이 봐도 놀랍다고 생각할 만한 기능들은 조금씩 줄어들게 마련이다. 우리는 상당히 민첩하게 움직이는 회사임에도 불구하고 이런 과정을 거쳤는데, 훨씬 큰 조직에서 얼마나 오랜 시간이 필요하고 얼마나 큰 비효율이 있을 지는 굳이 언급할 필요도 없을 정도이다.
짧게는 1주일, 길게는 6주가 걸리는 이 과정을, Devin은 20분에서 최대 24시간으로 줄여놓았다. 무엇보다 좋은 건, 더 이상 ‘타협’을 할 필요가 없다는 것이다. 사람에게 일을 지시하면 커뮤니케이션 비용이 크고, 또 누군가에게 ‘완벽해질 때까지’ 반복 작업(iteration)을 시키는 건 그 사람에게 너무나도 가혹한 일이고 해당 직원의 커리어 발전에 도움이 안되는 일이기 때문에 그런 반복은 애초에 있을 수가 없다. 하지만 AI와 일을 하면서부터는 이 비용이 극단적으로 줄어들었다. 수많은 사람들과 시간대를 맞춰서 회의를 잡을 필요가 없고, 그 회의를 기다릴 필요가 없고, 또 회의 후에 회의 내용을 정리하고 공유하고 재생할 이유도 없어졌다. 나든, 또 그 어떤 누구든, 아이디어가 떠오르면 바로 AI에게 일을 시키고, 처음 생각했던 아이디어와 구현된 결과가 일치할 때까지 (많은 경우, AI가 처음 아이디어보다 훨씬 더 똑똑한 생각을 하고, 더 좋은 아이디어를 낸다) 작업을 하면 되고, 이 작업에는 불과 몇 분에서 몇 십분밖에 걸리지 않는다.
이렇게 AI를 많이 쓰다보니 단점도 생겨났는데, 토큰 비용이 기하급수적으로 증가한 것이다. ChatGPT, 클로드 월간 구독료로 몇 백불 나가던 것이 순식간에 불어나서, AI 토큰 관련 비용이 월 6만불이 넘도록 증가하기에 이르렀다. 아래 차트를 보면, 특히 3월부터 AI를 전사적으로 도입하면서부터 비용이 크게 증가한 것을 볼 수 있다.
이렇게 토큰을 많이 사용한 만큼 생산성이 폭발적으로 증가한 것은 사실이지만, 월에 5만불씩 계속 써서는 감당이 안되겠다 싶었다. 이것이 새로운 큰 고민이 됐고, DeepSeek 등 오픈소스 모델을 활용하면서 Devin을 대체할 만한 것을 직접 만들기에 이르렀다. 우리는 이를 캐스퍼(Casper)라고 이름 붙였다. 위 그래프에서 비용이 다시 줄어든 건 바로 그 결과이다. AI를 덜 활용해서가 아니고 4월보다 지금 더 많이 쓰고 있지만 비용은 3분의 1로 축소한 것이다.
한 명의 엔지니어가 만들기 시작해서 이제 어느덧 많이 진화한 캐스퍼는 이제 우리의 가장 중요한 툴 중의 하나가 됐고, LLM의 성능이 좋아지고 더 저렴한 모델이 나올수록 이에 나가는 비용도 점차 줄어들 것이다.
우리가 일하는 방식이 다른 회사에 비해 놀랍도록 혁신적이라고 생각하지는 않는다. 오히려 지금 만들어지는 회사들은 처음부터 AI를 전제로 조직을 설계하고 있기 때문에 우리보다 더 빠르게 움직이고 있을 것이다. 하지만 아직 많은 작업과 코딩을 사람이 하고 있는 조직이라면, 진지하게 검토하고 일하는 방식을 완전히 바꿔야 할 것이다. 이는 아인슈타인이 했던 유명한 말, 복리 이자(compound interest)와 같은 것이라서, 시간이 지날수록 생산성이 지수적으로 차이가 나기 때문이다 (이 말을 아인슈타인이 진짜로 했는지는 논란이 있지만, 누가 그 말을 했든 ‘8번째 불가사의’라고 할 만큼 중요한 법칙인 것은 사실이다.)
조성문의 블로그 