LLM·RAG

LLM이란? AI가 말을 이해하고 답하는 방식

Large Language Model · 대규모 언어 모델

LLM은 문맥을 바탕으로 글을 이해하고 다음 말을 만드는 AI 모델이에요. 전화에서는 고객의 요청을 파악하고 답변이나 다음 행동을 정하는 데 쓰여요.

회사의 최신 정보를 저절로 알지는 않아요

“제 예약이 언제죠?”라는 질문에 답하려면 예약 시스템에서 실제 정보를 가져와야 해요. 모델이 자연스럽게 말하는 능력과 정확한 정보를 조회하는 기능은 따로 준비해야 해요.

STT가 말을 글로 바꾸고, LLM이 답변을 만들고, TTS가 소리로 읽는 구성이 널리 쓰여요. 음성을 직접 주고받는 모델도 있어요. 어떤 방식을 쓰든 고객이 말을 마친 뒤 답변이 나올 때까지의 시간을 확인해야 해요.

음성 에이전트에 사용할 모델과 지침을 정하고, 필요한 업무 도구를 연결해요. 예약 변경처럼 실제 데이터가 바뀌는 일은 도구의 처리 결과를 확인한 뒤 안내하도록 설계해요.