AI 전화 에이전트 테스트 자동화: 배포 전 통화 품질을 검증하는 법

AI 전화 에이전트를 만들었습니다. 프롬프트도 잘 짰고, 시나리오도 설계했고, 내부에서 몇 번 테스트 통화도 해봤습니다. 잘 되는 것 같아서 배포합니다.

그런데 실제 고객이 전화하니까 문제가 터집니다. "예약이요"라고 했는데 "해약"으로 알아듣고, 동시에 3통만 걸려도 응답 시간이 5초로 뛰고, 특정 사투리에는 의도 분류가 엉망이 됩니다. 수동 테스트로는 절대 잡을 수 없는 문제들입니다.

웹 개발에서 자동화 테스트가 당연하듯, AI 전화 에이전트도 체계적인 테스트 파이프라인이 필요합니다. 이 글에서는 단위 테스트부터 부하 테스트, CI/CD 통합까지 실전에서 쓸 수 있는 테스트 자동화 방법을 정리합니다.

AI 전화 에이전트를 테스트해야 하는 이유

음성 채널 테스트의 특수성

텍스트 챗봇과 달리, 음성 채널에는 고유한 변수가 존재합니다. STT(Speech-to-Text) 인식률은 환경 소음, 발화 속도, 억양에 따라 크게 달라집니다. TTS(Text-to-Speech) 출력도 문장 구조에 따라 어색하게 들릴 수 있고, 레이턴시 문제는 텍스트에서는 감지되지 않습니다.

AI 전화 시스템 아키텍처를 보면 SIP, STT, LLM, TTS가 직렬로 연결되는 구조인데, 어느 한 구간에서 지연이 발생해도 전체 통화 품질이 떨어집니다. 각 구간을 개별적으로, 그리고 통합으로 테스트해야 합니다.

테스트 없이 배포할 때 생기는 문제들

실제 현장에서 반복적으로 나타나는 패턴입니다.

• 의도 오분류: "예약 변경"을 "예약 취소"로 인식 → 고객 불만 폭발
• 무한 루프: 특정 질문에 에이전트가 같은 말을 반복
• 침묵 처리 실패: 고객이 잠시 생각하는데 "여보세요?" 3번 반복 후 끊어버림
• 동시 통화 병목: 트래픽 몰리면 응답 시간 급증 → 고객이 먼저 끊음

이런 문제들은 체계적인 테스트로 배포 전에 잡을 수 있습니다.

단위 테스트: 프롬프트와 의도 분류 검증

의도 분류 정확도 테스트

AI 전화 에이전트의 핵심은 고객 발화의 의도를 정확하게 파악하는 것입니다. 이를 위해 의도-발화 쌍으로 구성된 테스트 셋을 만들어야 합니다.

test_cases = [
    {"input": "예약하고 싶은데요", "expected_intent": "booking_create"},
    {"input": "예약 날짜 바꿀 수 있나요", "expected_intent": "booking_modify"},
    {"input": "예약 취소해주세요", "expected_intent": "booking_cancel"},
    {"input": "영업시간이 어떻게 되나요", "expected_intent": "info_hours"},
    {"input": "가격이 얼마예요", "expected_intent": "info_pricing"},
]

for case in test_cases:
    result = classify_intent(case["input"])
    assert result == case["expected_intent"], \
        f"'{case['input']}' → {result} (expected: {case['expected_intent']})"

최소 50개 이상의 테스트 케이스를 만들고, 동의어·비문·사투리 변형도 포함하세요. "예약 잡아주세요", "예약 가능한가요?", "예약 좀 하려고요" 모두 같은 의도로 분류되어야 합니다.

슬롯 필링 정확도 테스트

의도를 잡았으면 세부 정보(슬롯)를 정확하게 추출하는지도 검증해야 합니다. 날짜, 시간, 이름, 전화번호 같은 슬롯이 다양한 표현에서 올바르게 추출되는지 테스트합니다.

slot_tests = [
    {"input": "내일 오후 2시에 예약", "expected": {"date": "2026-04-04", "time": "14:00"}},
    {"input": "모레 세시 반", "expected": {"date": "2026-04-05", "time": "15:30"}},
    {"input": "이번 주 금요일", "expected": {"date": "2026-04-10", "time": None}},
]

한국어 날짜 표현은 특히 변형이 많습니다. "다다음 주", "글피", "이번 달 말" 같은 표현까지 커버해야 실전에서 문제가 없습니다.

통합 테스트: 엔드투엔드 통화 시뮬레이션

시나리오 기반 자동 통화 테스트

실제 통화 흐름을 시뮬레이션하는 엔드투엔드 테스트가 가장 중요합니다. 고객 역할을 하는 봇이 AI 에이전트에게 전화를 걸어 시나리오대로 대화하고, 결과를 검증합니다.

scenario: "정상 예약 플로우"
steps:
  - caller: "예약하고 싶은데요"
    expect_intent: booking_create
    expect_response_contains: "날짜"
  - caller: "이번 주 토요일 오후 3시요"
    expect_intent: slot_filling
    expect_response_contains: "확인"
  - caller: "네 맞아요"
    expect_intent: confirmation
    expect_action: create_booking
    expect_response_contains: "예약이 완료"
max_turns: 10
max_latency_ms: 2000

시나리오 설계 단계에서 정의한 모든 플로우에 대해 이런 테스트를 작성하세요. 해피 패스뿐 아니라 예외 시나리오(잘못된 입력, 중도 취소, 상담원 연결 요청)도 반드시 포함해야 합니다.

TTS 음성으로 STT 루프백 테스트

실제 음성 파이프라인을 검증하려면 TTS로 생성한 음성을 STT로 다시 인식시키는 루프백 테스트가 효과적입니다.

[텍스트 입력] → [TTS 음성 생성] → [STT 인식] → [인식 결과 비교]

이 루프를 돌리면 "TTS가 생성한 음성을 STT가 얼마나 정확하게 인식하는지" 검증할 수 있습니다. 특히 숫자, 고유명사, 주소 같은 중요 정보의 인식률을 집중 체크하세요. 한국어 STT/TTS 비교 가이드에서 다룬 각 엔진의 특성을 이해하면 테스트 설계에 도움이 됩니다.

부하 테스트: 동시 통화 처리량 검증

SIPp를 활용한 SIP 부하 테스트

SIPp는 SIP 프로토콜 기반 부하 테스트를 위한 오픈소스 도구입니다. 실제 SIP 콜을 대량으로 생성해서 시스템의 한계를 측정할 수 있습니다.

# 초당 10콜씩 총 100콜 생성
sipp -sf scenario.xml -r 10 -m 100 your-sip-server:5060

테스트 시 확인해야 할 핵심 지표:

지표	기준	위험 수준
콜 성공률	99.5% 이상	95% 미만
평균 응답 시간	500ms 이하	1,000ms 초과
동시 통화 수	플랜 한도의 80%	한도 근접 시
메모리 사용량	70% 이하	90% 초과

동시 통화 스케일링 전략

부하 테스트 결과 병목이 발견되면 스케일링 전략을 세워야 합니다. 레이턴시 최적화 가이드에서 다룬 기법들을 적용하면서 동시에 인프라 레벨에서도 대응해야 합니다.

LLM 호출이 병목인 경우가 가장 많습니다. 자주 나오는 질문에 대한 응답 캐싱, 간단한 질문은 소형 모델로 라우팅, STT/TTS 스트리밍 처리 같은 방법으로 대응할 수 있습니다.

CI/CD 파이프라인에 전화 테스트 통합하기

GitHub Actions로 배포 전 자동 테스트

프롬프트를 수정하거나 시나리오를 변경할 때마다 자동으로 테스트를 돌려야 합니다. GitHub Actions에 전화 테스트를 통합하면 배포 전에 문제를 자동으로 잡을 수 있습니다.

# .github/workflows/phone-agent-test.yml
name: Phone Agent Test
on:
  push:
    paths:
      - 'prompts/**'
      - 'scenarios/**'
jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Run intent classification tests
        run: python -m pytest tests/test_intent.py
      - name: Run scenario tests
        run: python -m pytest tests/test_scenarios.py
      - name: Run latency benchmarks
        run: python -m pytest tests/test_latency.py --benchmark

한국정보통신기술협회(TTA)의 소프트웨어 테스트 표준을 참고하면 테스트 체계를 더 견고하게 설계할 수 있습니다.

테스트 실패 시 롤백 전략

테스트가 실패하면 자동으로 이전 버전으로 롤백하는 전략이 필요합니다. 프롬프트와 시나리오를 버전 관리하고, 배포 실패 시 마지막으로 성공한 버전으로 되돌리는 파이프라인을 구성하세요.

핵심은 프롬프트 변경도 코드 변경과 동일하게 취급하는 것입니다. PR 리뷰, 자동 테스트, 스테이징 환경 검증, 점진적 롤아웃 — 소프트웨어 배포 베스트 프랙티스를 그대로 적용하면 됩니다.

정리

AI 전화 에이전트 테스트는 "해보면 좋은 것"이 아니라 "안 하면 사고 나는 것"입니다. 의도 분류 단위 테스트, 시나리오 기반 통합 테스트, SIPp 부하 테스트, CI/CD 자동화까지 — 각 단계를 체계적으로 갖추면 배포 후 장애를 대폭 줄일 수 있습니다.

ClawOps는 웹훅 기반으로 통화 이벤트를 실시간 전달하기 때문에, 테스트 프레임워크와의 연동이 간단합니다. 스테이징 환경에서 테스트 통화를 생성하고, 결과를 자동으로 검증하는 파이프라인을 오늘 바로 구축해보세요.

참고 링크

• SIPp – SIP 부하 테스트 오픈소스
• 한국정보통신기술협회(TTA)
• ClawOps

https://claw-ops.com