Mistral Voxtral 3 정리: 받아쓰기·음성 합성·음성 에이전트 SDK와 한국어, 요금
Mistral이 10월 20일 발표한 Voxtral 3를 정리했어요. 받아쓰기·실시간 받아쓰기·음성 합성 모델과 음성 에이전트 SDK가 무엇을 하는지, 공식 비교 음성을 직접 들어 본 결과, 한국어가 어디까지 확인되는지, 요금과 전화 연결 조건을 담았어요.
안녕하세요. 한국AI통신(ClawOps)에서 AI 전화 상담원을 만들고 있어요.
음성 AI는 크게 두 갈래로 만들어요. 음성을 듣고 바로 음성으로 답하는 모델을 쓰거나, 받아쓰기·대화·음성 합성을 따로 골라 잇는 거예요. 뒤쪽은 모델을 자유롭게 바꿀 수 있지만, 단계마다 기다리는 만큼 답이 늦고 음성 합성이 문장의 분위기를 모른 채 글자만 읽는다는 아쉬움이 있었어요.
10월 20일, Mistral이 Voxtral 3를 발표했어요. 받아쓰기 모델, 음성 합성 모델, 그리고 이 둘을 대화 모델과 한 줄로 잇는 음성 에이전트 SDK예요. 이 글에서는 무엇이 나왔는지, 실제로 어떻게 들리는지, 한국어는 어디까지 확인되는지, 요금과 쓰는 방법을 차례로 정리해 볼게요.
Voxtral 3는 모델 세 갈래와 SDK 하나예요
발표에서 나온 건 크게 네 가지예요.
| 구분 | 이름 | 하는 일 |
|---|---|---|
| 받아쓰기 | Voxtral Small Transcribe 3 · Mini Transcribe 3 | 녹음 파일 받아쓰기, 화자 구분, 용어 힌트(context biasing) |
| 실시간 받아쓰기 | Voxtral Mini Transcribe Realtime 3 | 말하는 동안 받아쓰기, 말이 끝났는지 판단(end-of-turn) |
| 음성 합성 | Voxtral TTS 3 | 감정·속도 태그, 발음 지정, 목소리 복제 |
| 음성 에이전트 | Voice agent SDK | 위 둘과 대화 모델을 한 스트리밍 파이프라인으로 실행 |
네 가지 모두 문서 상태는 "Public Preview"이고, 출시일은 2026-10-20으로 적혀 있어요. Mistral API(유럽·미국·글로벌 엔드포인트)로 바로 쓸 수 있고, 자체 인프라에 설치하려면 Mistral 팀에 문의하라고 안내해요.
받아쓰기는 화자 구분과 용어 힌트가 핵심이에요
Small Transcribe 3는 가장 정확한 모델, Mini Transcribe 3는 40억 파라미터의 가벼운 모델이에요. 둘 다 누가 말했는지 나누는 화자 구분(diarization)과, 미리 알려 준 용어를 더 잘 받아 적게 하는 용어 힌트(context biasing)를 지원해요. 발표문은 용어 힌트를 이렇게 설명해요.
This enables them to be used in production settings with domain-specific vocabulary without the need for fine-tuning.
제품명이나 약 이름처럼 일반 받아쓰기가 자주 틀리는 단어를 목록으로 넘기면, 모델을 따로 학습시키지 않아도 된다는 뜻이에요. Voxtral 3부터는 띄어쓰기가 있는 여러 단어짜리 용어도 넣을 수 있어요.
실시간 모델은 지연을 80ms에서 2,400ms까지 고를 수 있어요. 지연을 짧게 잡을수록 빨리 나오지만 정확도는 조금 내려가요. 발표문 표에서는 240ms일 때 오류율 7.4%, 2,400ms일 때 5.7%였어요(FLEURS 35개 언어 평균). 그리고 말이 끝났는지를 소리와 내용 둘 다 보고 판단해요. 상대가 잠깐 숨을 고를 때 에이전트가 끼어드는 일을 줄이려는 기능이에요.
음성 합성은 숫자와 이메일을 읽는 방식이 달라졌어요
상담용 음성 합성이 가장 자주 틀리는 곳은 숫자, 날짜, 이메일 주소예요. 발표문 중간의 "Illustrating Voxtral hill-climbing" 부분에 같은 문장을 이전 모델(Voxtral 1)과 Voxtral 3로 읽힌 비교 음성이 있어요. 직접 들어 보고, 무엇이라고 들리는지 음성 인식(Whisper large-v3)으로 받아 적었어요.
먼저 항공권 안내예요. 원래 문장은 "Emirates flight at 21:00pm on 10/10 returning 10/25 at 22:00pm for £1881"이에요.
| 들린 그대로 | 길이 | |
|---|---|---|
| Voxtral 1 | "twenty-one thousand p.m. on ten over ten, returning ten over twenty-five" | 20.2초 |
| Voxtral 3 | "twenty-one p.m. on October 10th, returning October 25th" | 15.2초 |
Voxtral 1은 "21:00"을 "이만 천"처럼, "10/10"을 "10 나누기 10"처럼 읽었어요. Voxtral 3는 날짜를 "October 10th"로 풀어 읽고, 같은 문장을 5초 빨리 끝냈어요. 금액 부분은 Voxtral 3 쪽 한 음절이 뭉개져 들려서, 받아쓰기만으로 맞다 틀리다를 가리지는 않았어요.
다음은 고객센터 본인 확인이에요. 원래 문장의 이메일은 "elena.vance82@yahoo.com"이에요.
| 들린 그대로 | |
|---|---|
| Voxtral 1 | "elenavance82 at yahoo.com" |
| Voxtral 3 | "elena.vance82 at yahoo.com" |
Voxtral 1은 점(.)을 건너뛰었고, Voxtral 3는 "elena dot vance"로 읽었어요. 전화로 이메일을 확인해 주는 상담원이라면 이 점 하나가 결과를 바꿔요.
말투는 태그로 지시해요
Voxtral TTS 3는 문장 안에 [emotion=happy], [pace=slow] 같은 태그를 넣어 그 부분의 감정과 속도를 바꿔요. 태그는 소리 내어 읽히지 않아요. 모델 문서 기준 감정 태그는 34가지, 속도 태그는 2가지예요. 발음이 낯선 이름이나 업계 용어는 발음을 따로 지정할 수 있어요.
아래 영상 0:38부터 태그를 넣는 장면이, 1:04부터 발음을 지정하는 장면이 나와요.
목소리 복제는 두 가지예요. 짧은 녹음으로 바로 만드는 복제와, 30분 이상의 깨끗한 녹음으로 말투와 감정 폭까지 담는 "Pro Voice"예요. Studio의 목소리 복제 화면에서는 복제하려는 목소리의 사용 동의를 확인하는 단계를 거쳐요.
음성 에이전트 SDK는 세 단계를 동시에 흘려보내요
SDK가 어떻게 돌아가는지는 발표문의 이 문장이 가장 잘 보여 줘요.
No stage waits for the one before it, so each turn completes in under one second, and the agent stops talking when the caller cuts in.
받아쓰기가 끝나기를 기다렸다가 대화 모델을 부르는 게 아니라, 세 단계가 동시에 흘러간다는 뜻이에요. 한 차례 주고받는 데 1초 안쪽을 목표로 하고, 상대가 끼어들면 말을 멈춰요. 통화 중에는 웹 검색, 문서 검색, 내가 만든 함수를 도구로 부를 수 있어요.
아래는 Mistral이 공개한 소개 영상이에요. 0:30부터 에이전트가 세 단계를 직접 설명하고, 0:45에 사람이 말을 끊는 장면이 나와요. 0:59부터는 영어·프랑스어·독일어로 이어서 답해 보라는 요청이에요. 에이전트 목소리는 프리셋 "Charlotte"이고, 영상 속 대화 모델은 Mistral Large예요.
왜 한 모델이 아니라 단계를 나눴을까요?
음성을 듣고 바로 음성으로 답하는 모델도 있는데, Mistral은 단계를 나누는 쪽을 골랐어요. 발표문은 이유를 이렇게 적었어요.
Each stage is a separate model, so you can change the LLM, the voice, or the language without rewriting the agent
대화 모델만 더 큰 걸로 바꾸거나, 목소리만 회사 목소리로 바꿀 수 있다는 거예요. 요금표에도 이 구조가 드러나요. 음성 에이전트 API는 대화 모델로 Mistral Small 4를 쓰면 분당 $0.04, 다른 모델을 쓰면 분당 $0.08이에요.
SDK는 Python과 TypeScript로 나왔어요. Python은 공식 SDK mistralai 3.3.0에 voice-agents 옵션으로 들어갔고, 오디오 전송은 LiveKit 위에서 돌아가요. 기본은 컴퓨터 마이크와 스피커를 쓰지만, 오디오를 주고받는 부분을 직접 구현해 다른 음원에 연결할 수도 있어요.
한국어는 들어 있지만, 언어 수는 문서마다 달라요
한국어를 "공식 지원 언어"라고 적은 목록은 찾지 못했어요. 대신 한국어가 들어 있다는 근거는 세 군데에서 확인했어요.
첫째, 받아쓰기 성능 표예요. 파일 받아쓰기(45개 언어)와 실시간 받아쓰기(35개 언어) 비교 모두 한국어(KO)가 포함돼 있고, 한국어는 단어 대신 글자 단위 오류율(CER)로 쟀다고 적혀 있어요.
둘째, 음성 합성 프리셋이에요. 발표문은 프리셋 목소리가 18개 언어에 있다고 하면서 한국어를 목록에 넣었고, 한국어 목소리 "Jin"의 샘플을 들려줘요. 받아 적으면 "안녕하세요. 기꺼이 도와드리겠습니다."예요.
이 샘플을 일반 전화 회선처럼 300~3,400Hz, 8kHz μ-law로 낮춰서 다시 받아 적어 봤어요. 결과가 원본과 똑같이 나왔어요. 다만 2.3초짜리 인사 한 문장이라, 긴 안내나 숫자가 섞인 문장도 그런지는 아직 모르는 상태예요.
셋째, 받아쓰기 문서의 언어 지정은 ko 같은 두 글자 코드를 받아요.
그런데 숫자는 문서마다 달라요. 같은 날 공개된 자료끼리도 이렇게 엇갈려요.
| 모델 | 발표문 본문 | 모델 페이지 | 문서 "Languages" |
|---|---|---|---|
| 실시간 받아쓰기 | 35개 이상 (가격 카드 40개 이상) | 표기 없음 | 45개 언어·방언 |
| 음성 합성 | 35개 이상, 방언 50개 이상 | 9개 언어 | 35개 언어, 방언 50개 이상 |
또 문서의 Voxtral 3 목소리 표에는 지금 9개(영어·스페인어·이탈리아어·독일어·포르투갈어·아랍어)만 있고, 한국어 "Jin"의 목소리 ID는 아직 없어요. 한국어로 바로 써 보려면 Studio 놀이터에서 목소리를 고르거나, 목소리를 복제해서 쓰는 쪽이 현실적이에요.
요금은 분과 글자 수로 매겨요
| 모델 | 요금 |
|---|---|
| Voxtral Mini Transcribe 3 (파일) | $0.0035 / 분 |
| Voxtral Small Transcribe 3 | $0.004 / 분 |
| Voxtral Mini Transcribe Realtime 3 | $0.008 / 분 |
| Voxtral TTS 3 (일괄·실시간 같은 API) | $13 / 100만 자 |
| 음성 에이전트 API + Mistral Small 4 | $0.04 / 분 |
| 음성 에이전트 API + 다른 대화 모델 | $0.08 / 분 |
예를 들어 3분짜리 대화 한 번을 음성 에이전트 API(Mistral Small 4)로 처리하면 $0.12예요.
전화 연결은 아직 엔터프라이즈 전용이에요
발표문에는 에이전트가 SIP로 전화를 받고 건다는 문장이 있어요. 그런데 같은 날 공개된 전화(Telephony) 문서에는 조건이 붙어 있어요.
Telephony is available to enterprise customers, and it isn't self-serve.
문서에 적힌 현재 제약을 정리하면 이래요.
- 엔터프라이즈 고객만 쓸 수 있고, 영업팀을 거쳐야 켜져요.
- 전화를 받기만 해요. 에이전트가 먼저 걸 수는 없어요("Inbound calls only").
- 사람 상담원에게 통화를 넘길 수 없어요. 문서는 범위 밖 요청이면 "담당자가 다시 연락드린다"고 말하게 하라고 안내해요.
- 통화 중에는 내 코드에서 돌던 도구(client-side tools)가 동작하지 않아요. Mistral 쪽에서 도는 도구만 써야 해요.
번호와 회선도 직접 가져와야 해요. 문서 표현으로는 "You bring the number and the system that carries your calls"예요.
자주 묻는 질문
Voxtral 3는 한국어를 지원하나요?
받아쓰기 성능 표에 한국어가 들어 있고, 발표문의 음성 합성 프리셋 목록에도 한국어가 있어요. 다만 언어 수가 자료마다 다르고 문서 목소리 표에는 아직 한국어 목소리 ID가 없어요. 쓰기 전에 Studio 놀이터에서 직접 들어 보는 걸 권해요.
Voxtral 3 요금은 얼마인가요?
실시간 받아쓰기는 분당 $0.008, 음성 합성은 100만 자당 $13이에요. 음성 에이전트 API는 Mistral Small 4와 쓰면 분당 $0.04, 다른 대화 모델과 쓰면 분당 $0.08이에요.
Voxtral 3 모델 이름은 무엇인가요?
voxtral-small-transcribe-3-0, voxtral-mini-transcribe-3-0, voxtral-mini-transcribe-realtime-3-0, voxtral-mini-tts-3-0이에요. 이전 세대에서 옮겨 오는 방법은 Mistral의 Migrate from Voxtral 2 문서에 있어요.
Mistral 음성 에이전트로 전화를 받을 수 있나요?
엔터프라이즈 고객이 영업팀을 거쳐 켤 수 있어요. 지금은 받는 전화만 되고, 사람 상담원 연결은 안 돼요. 번호와 회선은 직접 준비해야 해요.
Voxtral 3를 내 서버에 설치할 수 있나요?
발표문은 자체 인프라 배포를 지원한다고 하고, 전체 스택을 온프레미스나 프라이빗 클라우드에서 돌리려면 Mistral 팀에 문의하라고 안내해요.
마치며
Voxtral 3는 받아쓰기, 음성 합성, 대화 모델을 따로 고르면서도 한 차례 1초 안쪽을 노리는 파이프라인이에요. 숫자와 이메일을 읽는 방식이 눈에 띄게 나아졌고, 한국어도 목록 안에 들어 있어요.
아직 Public Preview이고 언어 수처럼 자료끼리 맞지 않는 곳도 있어요. 한국어로 쓰려면 Studio 놀이터에서 직접 들어 보고 판단하는 게 가장 확실해요.
다른 음성 모델 소식은 Grok Voice 3.0 글과 GPT-Live 1.1 글에 정리해 두었어요. 070 번호로 AI 전화 상담원을 만들고 싶다면 클로옵스 콘솔에서 시작할 수 있어요.
참고한 자료
- Mistral, Voxtral 3 발표문 (2026-10-20)
- Mistral 문서, Voice agents · Telephony (SIP)
- Mistral 문서, Languages
- Mistral 문서, Voxtral TTS 3 모델 페이지 · Voxtral Mini Transcribe Realtime 3 모델 페이지
- Mistral 문서, Emotion and pace tags
- Mistral 문서, Migrate from Voxtral 2
- Mistral, "Introducing Voxtral 3." (YouTube, 2026-10-20) · Voxtral TTS 3 - Feature Overview · Voice Cloning Overview
- PyPI, mistralai 3.3.0