[칼럼] ‘고성능 검색’에 머문 RAG의 한계, 이제는 ‘실행하는 AI 에이전트’를 논할 때

[칼럼] ‘고성능 검색’에 머문 RAG의 한계, 이제는 ‘실행하는 AI 에이전트’를 논할 때

 

 지난 1년간 국내 기업용 AI 시장의 주요 화두였던 RAG(Retrieval-Augmented Generation, 검색 증강 생성)에 대한 기대가 점차 식고 있다. 보안과 데이터 통제를 이유로 상당한 비용을 투입해 로컬 LLM과 RAG 시스템을 구축했지만, 실제 현장에서 체감되는 성과는 기대에 미치지 못했다는 평가가 적지 않다. “결국 내부 문서를 조금 더 잘 찾아주는 수준에 그친 것이 아니냐”는 회의적인 시각도 점점 힘을 얻고 있다.

 

 이로 인해 일부 기업에서는 RAG 고도화에 추가 투자를 이어가기보다, 차세대 상용 LLM 서비스의 등장을 기다리거나 기존 검색 엔진의 인덱싱과 검색 품질을 개선하는 것이 투자 대비 효과(ROI) 측면에서 더 합리적이지 않느냐는 실용적 판단을 내리고 있다. 그러나 이러한 흐름 속에서 오히려 지금이야말로 RAG에 머무를 것이 아니라, 한 단계 더 나아간 ‘AI 에이전트’로 전환을 모색해야 할 시점이라는 점을 짚어볼 필요가 있다.

 

RAG의 한계와 ‘검색 중심 전략’에 대한 재고

 RAG가 현장에서 충분한 평가를 받지 못하는 이유는 비교적 분명하다. 기업이 기대했던 것은 ‘업무를 이해하고 지원하는 지능형 비서’였으나, 실제 구현된 시스템은 질의응답과 문서 요약을 중심으로 한 고도화된 검색 도구에 가까웠기 때문이다. 환각(hallucination)을 줄이기 위한 기술적 목적은 일정 부분 달성했지만, 그 이후의 업무 흐름을 책임지는 단계까지는 도달하지 못했다.

 이러한 경험을 바탕으로 두 가지 시각이 나타나고 있다. 하나는 상용 LLM의 기술 진화 속도를 고려할 때, 자체 RAG 구축에 자원을 투입하기보다 향후 출시될 고성능 서비스에 의존하는 것이 낫다는 관점이다. 다른 하나는 불확실한 생성 결과에 의존하기보다는, Elasticsearch와 같은 기존 검색 엔진의 인덱싱과 검색 정확도를 극대화하는 것이 더 현실적인 대안이라는 주장이다. 특히 대규모 데이터를 보유한 조직일수록, 화려한 생성형 답변보다 신뢰할 수 있는 문서를 신속히 찾는 능력이 더 중요하다는 판단도 설득력을 가진다.

 

왜 ‘검색의 고도화’만으로는 충분하지 않은가

 그러나 검색 성능의 개선만으로는 기업 생산성의 본질적인 문제를 해결하기 어렵다. 실제 업무에서 병목이 발생하는 지점은 정보를 찾는 단계보다, 해당 정보를 해석하고 현재 상황에 적용해 후속 조치를 수행하는 과정에 있다. 규정을 빠르게 조회하는 것 자체가 업무의 종착점이 아니라, 그 규정을 바탕으로 판단하고 문서를 작성하며 시스템에 반영하는 과정이 전체 업무 시간의 대부분을 차지한다.

 전통적인 검색 인덱싱 강화는 정보 접근 속도를 줄여줄 수는 있지만, 업무 전체의 소요 시간을 구조적으로 단축시키지는 못한다. RAG가 기대에 미치지 못했던 이유 역시 기술 자체의 문제가 아니라, AI의 역할을 ‘검색’이라는 제한된 프레임 안에 가두어 두었기 때문이라고 볼 수 있다. 이제는 “어떻게 더 잘 찾을 것인가”가 아니라, “찾은 정보를 활용해 어떻게 업무를 완결할 것인가”라는 질문으로 시선을 옮겨야 한다.

 

AI 에이전트: 검색을 넘어 실행으로

 AI 에이전트는 RAG의 검색 능력에 추론과 실행을 결합한 개념이다. 단순히 규정을 설명하는 데 그치지 않고, 실제 업무 지시를 받아 이를 수행하는 주체로 기능한다. 예를 들어 RAG가 출장비 규정을 안내하는 역할이라면, 에이전트는 해당 규정을 적용해 영수증을 검증하고, 결과를 정리해 내부 경비 시스템에 입력하는 단계까지 처리한다.

 이러한 접근이 현실적인 이유는, AI 에이전트가 기존 검색 엔진과 인덱싱 자산을 배제하지 않고 ‘도구’로 활용하기 때문이다. 사람 대신 에이전트가 검색 엔진을 호출해 필요한 정보를 추출하고, 그 결과를 즉시 보고서 작성이나 시스템 입력으로 연결한다면, 기존 RAG에서 느꼈던 한계는 상당 부분 해소될 수 있다.

 

ROI 관점에서 본 에이전트 전략의 의미

 투자 대비 효과 측면에서도 에이전트 중심 전략은 설득력이 있다. 검색 정확도를 소폭 개선하기 위해 지속적으로 인덱싱에 비용을 투입하는 것보다, 반복적이고 규칙 기반의 업무를 상당 부분 자동화하는 에이전트를 구축하는 편이 기업 입장에서는 더 큰 효과를 기대할 수 있다. 상용 LLM의 발전을 기다리는 전략도 의미는 있지만, 내부 ERP·그룹웨어 등과 연동되어 실제 업무를 수행하는 시스템은 외부 서비스만으로는 해결하기 어려운 영역이다.

 이와 함께 로컬 LLM 구축의 경쟁력 역시 점차 ‘모델의 성능’보다는 ‘시스템과의 연결성’으로 이동하고 있다. 이제 기업이 주목해야 할 질문은 모델의 크기나 파라미터 수가 아니라, AI가 얼마나 많은 내부 시스템과 권한을 연계해 업무를 끝까지 수행할 수 있는가에 있다.

 

결론: 검색을 넘어 실질적 디지털 노동력으로

 RAG에 대한 실망은 기업이 AI에 기대했던 역할이 단순한 정보 제공을 넘어선다는 점을 보여준다. 기업이 원한 것은 새로운 검색창이 아니라, 실제 업무를 함께 수행할 수 있는 동료에 가까웠다. 기존 검색 엔진의 고도화는 중요한 기반이 될 수 있지만, 그 자체가 최종 목표가 되어서는 안 된다.

 이제 국내 기업의 AI 전략은 ‘검색의 연장선’에 머무는 RAG에서 벗어나, 업무 프로세스의 자동화를 지향하는 AI 에이전트로 방향을 전환할 필요가 있다. 기술 발전을 관망하는 사이에도 생산성 격차는 빠르게 벌어지고 있다. 단순한 챗봇의 단계를 넘어, 실질적인 디지털 노동력으로서의 에이전트를 구현하는 것만이 RAG 이후의 ROI를 증명할 수 있는 현실적인 대안이 될 것이다.

기고 | ㈜코세나 이승훈 대표이사

[기고] ‘고성능 검색’에 머문 RAG의 한계, 이제는 ‘실행하는 AI 에이전트’를 논할 때- 코세나 대표이사 이승훈

https://www.techdaily.co.kr/news/articleView.html?idxno=27728