대형 엔터프라이즈 고객사의 LLM 콜봇 고도화 가능성을 검증하기 위해 FAQ 기반 RAG 챗봇을 빠르게 구축하고, 이후 콜봇 연동 API·멀티턴·캐싱 구조까지 확장한 GenAI Solutions Engineer / Technical BD 사례입니다.

대형 엔터프라이즈 고객과 다른 사업을 진행하던 중 기술 설명과 PoC 대응 방식에 대한 신뢰가 쌓였고, 그 신뢰가 고객 내부 AICC팀의 LLM 챗봇·콜봇 PoC 기회로 이어졌습니다. 고객은 빠른 기간 안에 실제 FAQ 데이터 기반 상담 자동화 가능성을 확인하고 싶어 했습니다.

단순 답변 품질만으로는 충분하지 않았습니다. 고객은 콜봇 연동까지 고려했을 때 정확도, 멀티턴 처리, API 응답속도, 캐싱, 비용, 운영 가능성을 함께 보고 싶어 했고, 내부 개발 리소스가 부족한 상황에서 빠른 검증 근거가 필요했습니다.

초기 요구사항 정리, PoC 범위 설정, FAQ 수집·정제, 메타데이터 설계, RAG 챗봇 구현, AWS 기반 고객 테스트 환경 배포, 질문 분류 흐름, 콜봇 호환 API 확장, 캐시 설계, 데모 지표 정리, 견적·가격 구조 판단까지 단독 수행했습니다.

공식 지원문서/FAQ 약 250건을 검색 단위로 정리하고 제목, 본문, 출처, 분류, 답변 컨텍스트를 메타데이터화했습니다. 모든 질문을 바로 고성능 LLM으로 보내지 않고, 먼저 경량 분류 모델로 FAQ 관련 질문인지 판단한 뒤 관련 질문만 생성 모델로 넘겼습니다. 고객 테스트와 콜봇 연동을 위해 AWS 배포, 동기식 API 응답, 사전 캐시, RAG fallback을 함께 설계했습니다.

고객 전달 검증 자료 기준, 단일턴 정확도 96.7%, 멀티턴 95%, 전 API 응답 5초 이내, 캐시 히트 약 0.1초 수준을 확인했습니다. 정확도·응답속도·운영비 리스크를 함께 검증해 고객 의사결정에 필요한 근거를 제공했습니다.

Enterprise GenAI PoC는 모델 품질만으로 판단되지 않습니다. 응답속도, 비용 부담 구조, 배포 접근성, API·콜봇 연동 경계, 증거 추적성, 가격 리스크까지 함께 검증해야 고객이 실제 도입 가능성을 판단할 수 있습니다.

이 사례의 핵심은 고객 신뢰가 새로운 AICC PoC 기회로 이어졌고, 그 기회를 구현·배포·API화·캐시화해 고객 의사결정 근거로 바꿨다는 점입니다. 엔터프라이즈 딜의 최종 결정은 기존 벤더 관계, 내부 의사결정 구조, 마이그레이션 리스크, 비즈니스 케이스 준비도까지 영향을 받기 때문에 기술 검증과 사업적 판단을 함께 다루는 역량이 중요했습니다.