대기업 고객사의 상담 자동화 PoC를 1차 챗봇부터 2차 콜봇 API까지 단독 수행했습니다. 스트리밍 화면에서 검증하던 RAG를 동기 JSON 응답과 대화 맥락을 반영하는 캐시 구조로 전환했습니다.

6개 벤더가 참여한 상담 자동화 PoC에서 공식 지원 문서를 근거로 질문에 답하는 챗봇을 검증했습니다. 1차에서 2개 후보로 선정된 뒤 콜봇 플랫폼 연동을 위한 2차 고도화를 진행했습니다.

웹 챗봇은 생성 중인 답변을 스트리밍할 수 있지만 콜봇은 완성된 JSON 응답을 한 번에 받아야 했습니다. 5초 응답 목표에 맞춰 검색·생성 지연, 반복 질문, 대화 이력 처리와 API 응답 형식을 함께 검토해야 했습니다.

요구사항과 PoC 범위를 정리하고, 지원 문서 수집·인덱싱, RAG 챗봇, 평가 스크립트, 고객 테스트 환경, 콜봇 API와 캐시를 직접 구현했습니다. 1·2차 모두 단독으로 수행하며 검증 결과와 한계를 고객 전달 자료로 정리했습니다.

지원 문서 243건을 검색 가능한 데이터로 구조화하고 질문 라우팅·재작성, 검색, 답변 생성을 연결했습니다. 콜봇 전환에서는 동기 JSON API와 대화 ID를 유지하는 흐름을 구현했습니다. 동일 질문과 대화 이력의 정확 매칭, 임베딩 유사 매칭, 사전 Q&A 대화 궤적 매칭을 거쳐 캐시 미스 때 RAG를 실행하도록 구성했습니다.

기술 검증과 함께 답변 생성까지 포함하는 Full RAG와 검색 전용 구성의 두 구축 옵션을 정리했습니다. AWS·LLM 사용량에 따라 변하는 비용을 고정 구축 범위와 구분하고 견적·가격 조정안을 제안했습니다. 기술·비용·운영 조건을 함께 판단할 수 있는 자료를 만드는 것이 목적이었으며, 실제 수주로 이어진 가격 모델이라는 의미는 아닙니다.

1차에서 6개 벤더 중 2개 후보로 선정되어 2차 콜봇 연동·고도화를 완수했으나 최종 선정에는 이르지 못했습니다. 자체 검증에서는 응답 필드·형식과 대화 ID 유지 등 9개 검사 항목을 확인했습니다. 기술 구현과 검증 자료를 남긴 결과이며 상용 도입이나 수주 성과로 해석하지 않습니다.

검색은 정답 문서가 상위 후보에 포함되는 Hit@K로, API는 응답 형식과 대화 ID 유지로 검사했습니다. 멀티턴 5개 시나리오·20턴은 예상 키워드의 절반 이상 포함을 통과 기준으로 삼았고, 해당 버전에서 19/20턴, 후속 버전에서 20/20턴을 기록했습니다. 키워드 통과율은 답변 정답성이나 전체 상담 성공률과 구분해야 합니다.

평가에는 합성 질문과 지정 시나리오를 사용했습니다. 첫 질문의 응답 길이와 특정 거절 문구 유무를 검사한 지표는 정답 정확도로 사용할 수 없습니다. 동일 질문 재호출은 최초 호출보다 빨랐지만 모든 API 응답이 5초 이내였다는 근거는 없습니다. 캐시 상태와 평가 정의를 함께 보고해야 하며, 최종 미선정의 원인은 확인된 근거 없이 단정하지 않습니다.