2020년대는 어떤 시대로 기억될까. 한 가지는 분명해 보인다. 생성형 AI 가 우리 삶 깊숙이 들어온 시기라는 점이다.
지난 2년 반 동안 생성형 AI 기술은 눈부시게 발전했다. 사람들은 일상적으로 생성형 AI을 사용하면서도 ‘내가 지금 AI를 쓰고 있다’는 사실조차 의식하지 않을 만큼 익숙해졌다.
컨설팅 업계도 마찬가지다. 이제 매일의 업무에서 AI를 활용하는 일은 필수가 되었다. 그렇다면 컨설팅 업계는 생성형 AI를 어떻게 활용하고 있을까? 그 시작점인 2년 전으로 돌아가보자.
2023년 봄, 맥킨지앤드컴퍼니(이하 ‘맥킨지’)는 지난 100여 년간 축적해 온 방대한 지식 자산을 효과적으로 활용하기 위해 생성형 AI 기술을 도입하는 방안을 고민하고 있었다. 컨설턴트들이 정보 검색에 소요하는 시간을 효율화하기 위해서였다.
릴리의 탄생
‘어떻게 하면 이 많은 자료를 더 빠르고 똑똑하게 활용할 수 있을까?’라는 질문에 답을 찾기 위해 맥킨지는 본격적인 개발에 착수했다. 그렇게 탄생한 것이 바로 ‘릴리(Lilli)’다. 현재 릴리는 전 세계 맥킨지 직원의 75% 이상이 매일 사용하는 AI 기반 지식 플랫폼으로 자리 잡았다.
릴리라는 이름은 1945년 맥킨지 최초의 여성 컨설턴트 릴리안 돔브로스키(Lillian Dombrowski)에서 따왔다. 그는 맥킨지 지식 아카이브를 구축하고 새로운 서비스를 성공적으로 론칭한 혁신적인 인물이었다. 오늘날 릴리는 그의 이름처럼, 지식의 축적과 활용 방식을 새롭게 정의하고 있다.
맥킨지가 릴리 프로젝트를 시작할 당시만 해도, 생성형 AI 툴을 대규모로 자체 개발한 기업은 거의 없었다. 초기에 릴리 팀은 단 4명으로 출발했지만, 3개월 간의 설계, 최소 기능 제품(MVP) 개발, 파일럿 테스트를 거쳐, 이후 3개월 동안 빠르게 전사로 확산시켰다. 현재 릴리 팀은 약 140명 규모로 성장했다.
릴리가 남긴 다섯 가지 교훈
릴리의 개발 과정에서 맥킨지는 다섯가지 교훈을 얻었다.
첫째, 생성형 AI의 성능은 도메인 전문지식, 프롬프트 엔지니어링에 달려 있다. 기술 전문성 만으로 좋은 성능을 도출하는 것은 불가능하고, 도메인 전문가와의 협업이 필수다. 맥킨지도 릴리 개발 당시, 기술 전문가와 도메인 전문가를 1대 1로 매칭하여 개발을 진행했다.
둘째, 데이터 큐레이션이 핵심이다. 모든 데이터를 무작정 입력하는 것이 능사가 아니다. 중요한 것은 ‘관련성’ 있는 정보를 정확하게 선별하는 것이다. 정보의 품질이 곧 AI의 성능과 비용 효율성을 결정한다. 이를 위해 맥킨지는 전담 데이터 전략팀을 꾸려 철저한 큐레이션 작업을 진행하고 있다.
셋째, ‘오케스트레이션 레이어’가 품질과 효율을 좌우한다. 하나의 AI 모델이 모든 요청을 처리할 수는 없다. 릴리는 질문의 성격에 따라 가장 적합한 AI 모델을 자동으로 연결해주는 오케스트레이션 기술을 활용하고 있으며, 이 기술은 현재 맥킨지의 특허로 보호받고 있다.
넷째, 개발보다 더 중요한 것은 테스트다. 릴리 팀은 지속적인 테스트를 통해 문제를 조기에 발견하고 수정했다. 예컨대, 릴리 테스트 초창기에, 데이터 청킹(Data Chunking, 대용량의 데이터를 더 작은 단위로 나누는 과정) 전략을 수정한 후 일부 ‘환각(hallucination)’ 현상이 발생하자 즉시 배포를 중단하고 원인을 분석해 문제를 해결했다. 개발과 테스트에 더 시간을 소요하더라도 오류 발생가능성에 대해 철저히 대비하는 것이 결국 더 많은 시간과 비용을 절약한다는 교훈을 배웠다.
다섯째, 중요한 것은 기술을 ‘실제로 쓰게 만드는 것’이다. 맥킨지는 릴리 초기부터 사용자 중심으로 개발했고, 리더들이 먼저 릴리를 사용하며 변화를 이끌었다. 회의 자리에서는 “릴리가 제안한 정보는 무엇인가요?”라는 말이 자연스럽게 오가고, 사용자 피드백은 기능 개선의 중요한 기준이 되었다.
릴리가 바꾼 일하는 방식
이제 릴리는 매달 50만 건이 넘는 프롬프트에 답하고 있다. 정보를 찾는 데 걸리는 시간은 평균 30% 줄었고, 결과물의 품질은 20% 이상 향상되었다.
릴리는 단순한 지식 검색 도구가 아니라 맥킨지의 업무 방식 전반을 빠르게 변화시키는 역할을 한다. 컨설턴트들은 업계 동향 조사, 인사이트 수집, 보고서 작성을 위한 사전 자료 준비 등에 릴리를 활용할 뿐만 아니라 내부 전문가를 찾고 협업하는 데도 유용하게 사용한다. 릴리가 관련 경험이 있는 동료를 추천해주고, 연결 방법까지 제시해주기 때문이다.
일정이 빠듯한 프로젝트에서는 회의 안건 초안이나 실행 계획, 프레젠테이션 초안도 릴리를 통해 빠르게 만들 수 있다. 특히 맥킨지 특유의 스타일과 포맷에 맞춘 자료를 자동으로 생성해주는 기능은 생산성을 크게 높이고 있다. 나아가 릴리는 컨설턴트들의 사고를 더 넓고 창의적인 방향으로 유도하는 역할까지 하고 있다.
| 20% 내용 정확도와 품질 향상 | 30% 정보 수집 및 분석 시간 단축 | 500,000건+ 릴리가 매달 처리하는 프롬프트 수 |
기술보다 더 중요한 것
많은 기업들이 생성형 AI 도입에 나서고 있다. 그 과정에서 어떤 기술을 선택할지에 대한 고민이 많은 것도 사실이다. 하지만 AI 플랫폼의 기술적인 성능보다 더 중요한 것은 이를 조직 전체가 얼마나 빠르게 배우고 활용할 수 있는 가이다.
릴리는 이러한 질문에 대한 고민의 산물이다. 릴리는 맥킨지의 ‘일하는 방식’을 근본적으로 바꾸는 전환점이 되었다. 그리고 릴리의 진화는 지금도 계속되고 있다. 릴리 팀은 오늘도 새로운 가능성을 실험 중이다. 목표는 단지 정답을 잘 내는 AI가 아니다. 논리적으로 사고하고, 맥락을 이해하며, 함께 고민하고 판단까지 도울 수 있는 ‘일하는 동료’로 릴리를 진화시키는 것이다.
Q. 세상에서 제일 유명한 릴리는 누구일까?
A. 릴리라는 이름은 세계 곳곳에서 익숙하게 들려오는 이름입니다.넷플릭스 시리즈 ‘에밀리, 파리에 가다’로 유명한 배우 릴리 콜린스, 영화 ‘신데렐라’와 ‘맘마미아 2’의 주인공 릴리 제임스, 그리고 해리포터 시리즈 속 해리의 어머니 릴리 포터도 모두 떠오릅니다.또 백합꽃을 뜻하는 영어 단어 ‘Lily’ 역시 전 세계적으로 친숙한 이름이죠.
하지만 맥킨지에서 ‘릴리(Lilli)’는 조금 특별한 의미를 갖습니다.릴리는 생성형 AI 기반 지식 플랫폼이자, 단순한 검색 도구를 넘어 사고의 확장을 돕고, 협업을 잇는 AI 동료입니다.
* 본 답변은 맥킨지 내부 생성형 AI 리서치 파트너인 릴리(Lilli)의 응답을 기반으로 요약 및 재구성한 내용입니다.
