2023년은 생성형 AI에 대한 무한한 가능성과 아이디어가 넘쳐나던 시기였다. 2024년은 본격적인 실행보다는 실험이 주를 이룬 한 해였다. IDC 조사 결과, 기업들은 평균 37건의 개념 증명을 시도했으나 실제 운영 단계로 진입한 사례는 5건에 불과한 것으로 나타났다.
현재 생성형 AI에서 가장 중요한 과제는 실험 단계에서 실제 도입으로 전환하는 데 필요한 요소를 파악하는 것이다. 필자가 주목하는 핵심 영역은 기업용 AI 전략, 통합 거버넌스 모델, 그리고 경영진을 설득할 수 있는 생성형 AI 관련 기술 비용 관리다.
IDC 연구 결과에 따르면, 대부분의 기업은 조직 내 다양한 비즈니스 기능에서 생성형AI의 활용 사례를 확인하고 실험을 진행하고 있다. 문제는 각 부서에서 다섯 개 이상의 활용 사례를 식별하는 경우가 많고, 이를 조직 전체적으로 보면 수십 개의 단절된 사례가 실행되고 있다는 점이다. 기업이 비즈니스에 영향을 줄 수 있는 활용 사례를 파악하려면 조직 전체의 AI 활용 사례 로드맵을 개발하고, 가장 높은 영향을 미칠 수 있는 우선순위를 설정해야 한다.
IDC는 리더들에게 ‘AI 슈퍼 활용 사례’를 찾으라고 조언한다. 여기서 말하는 사례는 투자 대비 최대의 비즈니스 성과를 창출할 수 있으며, 조직의 회복탄력성을 높이고 혁신, 적응력, 지속가능성 등 핵심 목표 달성을 지원할 수 있는 것을 의미한다.
이 과정은 비즈니스와 IT 간의 협업을 필요로 한다. IDC 데이터에 따르면 약 40percent의 기업이 이 두 부문 간의 긴밀한 협력이 부족한 것으로 나타났다. 이러한 협력 부족은 활용 사례를 실제 운영으로 전환하는 데 걸림돌로 작용한다. 기업은 조직적으로 정리된 AI 활용 사례 로드맵을 만들고 이를 기반으로 협력해야 한다.
직접 개발? 구매할까?
기업이 명확히 파악해야 할 또 다른 영역은 자체 대규모 언어 모델(LLM)의 구축, 구성 또는 구매 여부다. 가장 저항이 적은 방법은 기존 애플리케이션을 통해 생성형 AI 기능을 구매하는 것이다. 하지만 모든 활용 사례가 외부 애플리케이션으로 해결되는 것은 아니다. 현재는 대부분의 조직이 기존 시스템과 AI 기술을 일정 부분 조합해서 사용해야 하는 상황이다. 이는 상용 오픈소스 LLM(대규모 언어 모델)을 기업의 자체 데이터로 학습시키는 작업을 포함한다. 이러한 필요성은 앞으로 더욱 증가할 것으로 예상된다. IDC 연구에 따르면, 자체 LLM을 구축하는 조직은 극소수에 불과하다. 1년 전에는 많은 기업이 이를 스스로 개발해야 한다고 생각했지만, 현재는 다른 대안도 있다는 것을 인식하고 있는 것으로 보인다.
기업이 깨달은 또 다른 점은 AI 이니셔티브, 특히 AI 서비스 구성에서 데이터의 중요성이다. 기업은 데이터가 노후화되었거나 불완전한 데이터셋을 보유하고 있음을 발견하고 있다. 이에 따라 기업은 데이터 저장, 조직 및 관리에 투자하던 기존의 방식에서 벗어나, AI 모델의 기초 데이터 준비와 세부 조정을 위한 데이터 엔지니어링에 투자해야 한다.
AI의 미래 성장과 주요 과제
조직의 미래가 걸려 있다. AI는 기업과 산업을 재편할 것이다. 기업 내에서 AI는 비서, 고문, 대리인 또는 이 세 가지 역할을 모두 수행하며 비즈니스 프로세스, 응용 프로그램, 일상 업무를 변화시킬 것이다. 산업은 근본적으로 새로운 방식으로 혁신하고, 고객을 참여시키며, 가치를 제공할 것이다. 그러나 사용 사례 로드맵과 강력한 비즈니스 사례를 바탕으로 한 비전과 기업 AI 전략이 없다면 이를 실현할 수 없다. IDC는 일부 기업이 2025년까지 실험 단계를 넘어 AI 전환을 이룰 것이며, 2027년부터 AI 활용 사례의 집합적인 이점을 인식하기 시작할 것이라고 전망한다. 반면, 2025년에 전환하지 못한 기업은 경쟁사에 뒤처지며 실험 단계가 2026년으로 미뤄질 가능성이 높다. 이 두 가지 경로의 차이는 생산성, 혁신 속도, 고객 관계 및 재무 성과에 중대한 영향을 미칠 것이다.
CIO는 조직의 AI 모델 개발을 중앙에서 통합 관리함으로써 위험을 줄이고, 이를 통해 AI 분야에서 리더십을 발휘할 수 있는 좋은 기회를 맞이하고 있다. 직원의 AI 채택을 촉진하고 전사적 참여를 이끌어낼 변화 관리 계획 수립에 필요한 지원도 고려해보자.
*필자 메러디스 왈렌은 IDC의 최고 연구 책임자이다. 왈렌은 기술 구매자, 공급업체, 투자자를 위한 구독 제품인 IDC의 Analysis International Product Line과 이를 제공하는 분석가를 총괄하고 있다. 왈렌은 IDC의 연간 사고 리더십 테마와 1,300명 이상의 분석가로 구성된 글로벌 팀의 연구 의제를 설정한다.
dl-ciokorea@foundryco.com
