AI 전화 에이전트 성과 측정 KPI 10가지: 무엇을 추적해야 하나

AI 전화 에이전트를 만들었습니다. 전화도 잘 받고, 대답도 잘 합니다. 그런데 "잘 되고 있는 건가?"라는 질문에 답할 수 있으신가요?

감으로 판단하면 안 됩니다. "뭔가 괜찮은 것 같은데"는 성과가 아닙니다. 숫자로 말해야 합니다. 어떤 숫자를 봐야 하는지, 그 숫자가 어느 정도여야 괜찮은 건지 — 이걸 정리합니다.

왜 KPI가 필요한가

감이 아닌 데이터로 판단

AI 전화 에이전트가 "잘한다"는 느낌은 대개 착각입니다. 실제로 통화 로그를 분석해보면 10통 중 3통은 상대방이 중간에 끊고, 2통은 엉뚱한 답변을 하고 있는 경우가 흔합니다. KPI 없이는 이런 문제를 발견할 수 없습니다.

개선 방향 설정

AI 전화 에이전트 프롬프트 엔지니어링에서 다뤘듯이 프롬프트를 개선하려면 기준선(baseline)이 필요합니다. "프롬프트 A와 B 중 어떤 게 낫나?"를 판단하려면 비교할 지표가 있어야 합니다.

통화 품질 KPI (1~4번)

1. 통화 완료율 (Call Completion Rate)

전체 통화 중 목적을 달성하고 정상 종료된 비율입니다. 예약 에이전트라면 실제 예약이 완료된 통화, 안내 에이전트라면 정보 전달이 완료된 통화입니다.

기준선: 70% 이상이면 양호, 85% 이상이면 우수. 50% 미만이면 프롬프트나 시나리오에 심각한 문제가 있는 것입니다.

2. 응답 레이턴시 (Response Latency)

사용자 발화 종료 후 AI 응답 시작까지의 시간입니다. 음성 AI 레이턴시 최적화에서 상세히 다뤘는데, 500ms 이하가 자연스러운 대화의 기준입니다.

측정 방법: STT 완료 타임스탬프 ~ TTS 재생 시작 타임스탬프. ClawOps API의 통화 로그에서 이벤트별 타임스탬프를 확인할 수 있습니다.

3. 에스컬레이션 비율 (Escalation Rate)

AI가 처리하지 못하고 사람 상담원에게 넘긴 비율입니다. 이 지표가 높다면 AI가 처리할 수 있는 범위가 좁거나, 시나리오 설계에 빈틈이 있다는 의미입니다.

기준선: 업종에 따라 다르지만, 단순 예약/안내는 15% 이하, 복잡한 상담은 30% 이하가 목표입니다.

4. 대화 턴 수 (Conversation Turns)

한 통화에서 AI와 고객이 주고받은 대화 횟수입니다. 동일한 목적을 더 적은 턴으로 달성하면 효율적인 에이전트입니다. 턴 수가 비정상적으로 많다면 AI가 질문을 제대로 이해하지 못하고 있을 가능성이 높습니다.

고객 경험 KPI (5~7번)

5. 고객 만족도 (CSAT)

통화 후 "만족하셨나요?" 설문 결과입니다. AI 전화 에이전트의 경우 통화 종료 직후 자동으로 1~5점 평가를 받거나, 사후 SMS 설문을 보내는 방식이 일반적입니다. 콜센터 구축 가이드에서 CSAT 수집 방법을 더 자세히 다뤘습니다.

6. 첫 통화 해결률 (FCR, First Call Resolution)

고객이 같은 건으로 다시 전화하지 않은 비율입니다. FCR이 높다면 AI가 한 번에 문제를 해결하고 있다는 뜻입니다. 48시간 내 동일 번호 재통화를 추적하면 측정할 수 있습니다.

7. 이탈률 (Abandonment Rate)

AI 응답 전에 고객이 전화를 끊은 비율입니다. 대기 시간이 길거나 IVR 메뉴가 복잡하면 이탈률이 올라갑니다. AI IVR 시스템 구축에서 이탈률을 낮추는 설계 방법을 다뤘습니다.

운영 효율 KPI (8~10번)

8. 통화당 비용 (Cost per Call)

AI 통화 한 건에 드는 비용입니다. LLM API 비용 + 전화 인프라 비용 + STT/TTS 비용을 합산합니다. 음성 AI 가격 가이드에서 각 구성요소별 비용을 비교했는데, ClawOps 기준 발신 분당 116원, 수신은 무료이므로 평균 3분 통화 시 인프라 비용은 약 350원입니다.

9. 동시 통화 처리량 (Concurrent Call Capacity)

피크 시간에 동시에 처리할 수 있는 통화 수입니다. 사람 상담원은 1명이 1통만 받지만, AI는 인프라가 허용하는 만큼 동시 처리 가능합니다. AI 전화 시스템 아키텍처에서 설명한 것처럼, SIP Gateway 용량이 병목이 됩니다.

10. 자동화율 (Automation Rate)

전체 인입 통화 중 AI가 사람 개입 없이 처리한 비율입니다. 한국 AICC 시장 현황에 따르면 국내 콜센터의 평균 자동화율은 아직 20~30% 수준이지만, 단순 문의 중심이면 70% 이상도 가능합니다.

KPI 대시보드 구축

이 지표들을 한눈에 보려면 대시보드가 필요합니다. ClawOps API의 웹훅 이벤트(call.ended, call.analysis.ready)를 n8n이나 Make 같은 자동화 도구로 연결하면 실시간 대시보드를 만들 수 있습니다. 통화 녹음과 전사(transcript)도 자동 저장되므로 사후 분석도 가능합니다.

결론

AI 전화 에이전트를 만드는 것보다 잘 운영하는 게 더 어렵습니다. 그리고 잘 운영하려면 측정이 먼저입니다. 위 10가지 KPI를 기준으로 데이터를 모으고, 주간 단위로 리뷰하고, 프롬프트와 시나리오를 개선하는 루프를 돌려야 합니다.

ClawOps는 통화 로그, 녹음, 전사, 분석을 API로 제공합니다. 무료 Trial로 시작해서 KPI 기반 운영 체계를 직접 구축해보세요.

참고 링크

• ClawOps — AI 전화 에이전트 플랫폼
• KISA 컨택센터 품질 관리 가이드
• ITU-T P.851 — 자동 음성 서비스 품질 평가 권고

https://claw-ops.com