STT 인식률 93%의 함정 — 왜 그 숫자는 콜봇 목표가 될 수 없는가

처음엔 STT(음성 인식) 인식률 93%라는 숫자를 그대로 목표치로 가져다 써도 괜찮아 보입니다. 일반 음성 AI 벤치마크에서는 꽤 좋은 성적으로 통하는 수치이기 때문입니다. 그런데 콜봇(전화 기반 자동 응대 시스템)에 적용해 보면 이야기가 달라져, 예상보다 훨씬 큰 문제가 드러나기 시작합니다. 이 글은 왜 일반 STT 벤치마크 수치와 콜봇 실사용 요구사항이 다른지, 그리고 실무에서 최소 기준을 어떻게 잡아야 하는지를 정리한 것입니다.

[시리즈] S2S·LLM 음성 에이전트 엔지니어링 63편 · 현재 8-2편

← 이전: 8-1 LLM 콜봇 PoC — 검증의 갭 / 다음 → 8-3 금융 콜봇에서 소수점이 중요한 이유

전체 목차 펼치기 (63편)

Part 1 — 음성 AI가 느린 이유: 레이턴시 진단 (4편)

Part 2 — 텍스트를 넘어: End-to-End S2S의 원리 (4편)

Part 3 — 실시간 대화와 에이전트화: 인터럽트·MCP·도구 (5편)

Part 4 — 인프라·세션·보안: 프로덕션 백엔드 (5편)

Part 5 — 운영·품질·평가: 에이전틱 워크플로우와 신뢰성 (7편)

Part 6 — 음성 경험 고도화·실전 통합: 한국어·UX·전화망·엣지 (5편)

Part 7 — S2S 도입 전략·구매 의사결정 (4편)

Part 8 — LLM 콜봇 PoC 현장 (6편)

Part 9 — 상담어시스트: 상담사 화면을 바꾸는 실시간 AI (7편)

Part 10 — 직접 만든 롤플레이 챗봇: RAG 에이전트 구축기 (8편)

Part 11 — KMS 실무 — 지식관리시스템의 설계와 운영 현실 (8편)

벤치마크 93%가 만들어지는 방식과 콜봇 현장의 차이

일반 STT 모델의 성능을 측정할 때 쓰는 벤치마크 데이터셋은 주로 뉴스 낭독, 표준 발화, 깨끗한 음향 환경에서 수집된 음성입니다. 이 조건에서 93%의 단어 정확도(WER 기준 약 7% 오류)는 충분히 쓸 만한 성능처럼 보입니다 — 특정 회사의 실측값이 아니라 공개된 STT 벤치마크 리포트에서 흔히 인용되는 일반 수치입니다. 그러나 콜봇이 처리하는 실제 전화 음성은 다릅니다. 수화기 너머의 배경 소음, 비표준 발화 습관, 고객마다 다른 억양과 속도, 그리고 무엇보다 도메인에 특화된 어휘가 뒤섞입니다.

벤치마크 데이터셋에 "코스피", "종합소득세 신고", "펀드 환매 수수료", "ISA 계좌 납입 한도" 같은 금융 용어가 등장하는 비율은 매우 낮습니다. 그러나 금융사 콜봇에서는 이런 단어들이 통화의 중심 주제입니다. 일반 벤치마크에서 93%를 기록한 모델이 이런 도메인 어휘에서 실제로 어느 수준의 인식률을 내는지는 별개의 문제입니다. 따라서 벤치마크 수치를 콜봇 도입 목표치로 사용하는 것 자체가 잘못된 출발점입니다.

STT 오류 하나가 만드는 연쇄 실패 구조

콜봇 파이프라인에서 STT는 첫 번째 단계입니다. 고객이 말한 음성이 텍스트로 변환되면, 그 텍스트는 의도 분류(Intent Classification)를 거쳐 적절한 응답 경로로 연결됩니다. 여기서 STT 오류의 파급력이 드러납니다. 일반 텍스트 처리와 달리, 콜봇에서 STT 오류는 뒤따르는 모든 단계에 영향을 미칩니다.

예를 들어 고객이 "환매 수수료 면제 조건 알려주세요"라고 말했는데 STT가 "환매 수수료 면제 조건"을 "환매 수수료 면제 조금"으로 인식했다고 가정하겠습니다. 이 경우 의도 분류 모델은 정확한 의도를 잡지 못하거나 엉뚱한 카테고리로 분류할 가능성이 높습니다. 의도 분류가 틀리면 잘못된 응답 경로가 선택되고, 고객은 자신의 질문과 무관한 답변을 받게 됩니다. 7%의 STT 오류율이 콜봇 전체 응답 정확도에는 7%보다 훨씬 크게 영향을 미치는 이유가 여기에 있습니다.

더 중요한 것은 콜봇에서 오류가 발생할 때 일반적으로 재시도 기회가 제한적이라는 점입니다. 웹 검색에서 오타가 나면 검색어를 다시 입력하면 됩니다. 그러나 전화 응대에서 콜봇이 "잘 못 알아들었습니다"를 반복하면 고객 경험이 급격히 나빠지고, 상담원 전환 비율이 올라가 콜봇 도입의 의미가 퇴색합니다.

도메인 특화 어휘와 일반 STT 모델의 취약점

일반 STT 모델이 금융, 의료, 통신 같은 전문 도메인에서 특히 취약한 이유는 언어 모델의 사전 학습 데이터 분포와 관련이 있습니다. 대부분의 범용 STT 모델은 일상 대화, 뉴스, 방송 데이터를 주로 학습합니다. 따라서 도메인 고유 명사나 약어가 등장하면 음향적으로 비슷한 일반 단어로 치환하는 오류가 잦습니다.

금융 콜봇 PoC 과정에서 자주 확인되는 오류 유형을 일반화하면 다음과 같습니다.

발화 의도 (고객)	일반 STT 인식 오류 사례	오류 영향
상품명·브랜드 약어	음향 유사 일반어로 대체 인식	의도 분류 실패
금융 전문 용어	비슷한 발음의 비관련 단어 삽입	응답 경로 오분류
숫자+단위 복합 발화	텍스트 그대로 인식(ITN 미처리)	금액·기간 파싱 실패
약어·이니셜	풀네임으로 확장하거나 전혀 다른 단어	핵심 키워드 누락

이 취약점의 근본 원인은 해당 도메인 어휘가 모델의 언어적 우선순위에서 낮게 설정되어 있기 때문입니다. 모델 입장에서는 드물게 등장하는 전문 용어보다 자주 등장하는 일반 단어로 인식하는 것이 확률적으로 더 안전한 선택입니다. 이 문제를 해결하지 않은 채 93%라는 일반 벤치마크 수치에 기대면, 정작 중요한 어휘에서 더 높은 오류율을 마주하게 됩니다.

하드워드 등록과 ITN: 실무에서 반드시 다뤄야 하는 두 가지

도메인 특화 STT 취약점을 완화하는 대표적인 방법 두 가지는 하드워드(Hotword / Custom Vocabulary) 등록과 ITN(Inverse Text Normalization) 설정입니다.

하드워드는 STT 엔진이 특정 단어를 인식할 때 가중치를 높여주는 기능입니다. 금융사 PoC 경험을 기반으로 이야기하면, 상품명과 전문 용어를 포함해 100개 이상의 하드워드를 등록하는 것이 기본 출발점이 됩니다. 실제로 180개 내외의 커스텀 단어를 등록했을 때 도메인 어휘 인식률이 눈에 띄게 개선되는 것을 확인할 수 있었습니다. 등록하지 않은 채로는 범용 모델이 도메인 특화 단어를 음향적으로 유사한 일반어로 계속 치환합니다. 하드워드 등록은 복잡한 파인튜닝 없이도 즉시 적용 가능한 가장 실용적인 첫 번째 레버입니다. 덧붙이면 여기서 언급한 등록 규모와 개선 폭은 특정 회사나 고객사를 특정할 수 없도록 일반화한 것으로, 2026년 7월 시점의 경험을 옮긴 수치입니다.

ITN은 음성에서 인식된 텍스트의 숫자·단위·날짜를 표준 형식으로 변환해주는 기능입니다. 예를 들어 "삼십만 오천원"을 "305,000원"으로, "이 년 삼 개월"을 "2년 3개월"로 바꾸는 것입니다. ITN이 적용되지 않으면 콜봇의 자연어 처리 단계에서 숫자 관련 파라미터 추출이 실패하거나 불안정해집니다. 금융 콜봇에서 금액, 기간, 비율 같은 숫자 정보는 핵심 업무 데이터이므로 ITN 미지원은 단순한 불편이 아니라 기능 장애로 이어집니다. STT 엔진 선택 시 ITN 지원 여부와 한국어 금융 도메인에서의 처리 품질을 반드시 사전 검증해야 합니다.

실무 최소 기준 95%와 도메인 특화 테스트셋 구성법

여러 콜봇 프로젝트를 지켜본 경험에 비추어 보면, STT 인식률 목표는 95% 이상을 실무 최소 기준으로 삼는 경우가 많았습니다 — 이는 공식 통계나 표준이 아니라, 앞서 설명한 연쇄 오류 구조와 도메인 어휘 오류율을 감안했을 때 전체 파이프라인이 허용 가능한 수준의 응답 정확도를 유지하려면 STT 단계에서 최소한 이 정도 수준이 필요하다고 현장에서 반복적으로 수렴한 경험적 기준이며, 기업·벤더마다 편차가 있을 수 있습니다. 93%에서 95%는 2%포인트 차이이지만, 콜봇 파이프라인의 연쇄 구조에서 이 차이가 전체 정확도에 미치는 영향은 훨씬 큽니다.

그러나 이 수치도 어떤 테스트셋으로 측정했느냐에 따라 의미가 달라집니다. 범용 데이터셋으로 95%를 달성한 것과 도메인 특화 테스트셋으로 95%를 달성한 것은 전혀 다릅니다. 콜봇 도입 전 STT 성능을 올바르게 검증하려면 도메인 특화 테스트셋을 직접 구성해야 합니다. 구성 방법은 다음과 같습니다.

첫째, 실제 또는 시나리오 기반 고객 발화 예문을 수집합니다. 기존 통화 녹취가 있다면 그 중 익명화된 샘플을 활용하고, 없다면 실무자가 직접 도메인 어휘를 포함한 발화 예문을 설계합니다. 둘째, 도메인 어휘(상품명, 전문 용어, 약어)가 포함된 발화의 비중을 일부러 높입니다. 현실에서 이 어휘들이 등장하는 빈도보다 더 높은 비율로 포함시켜야 취약점이 드러납니다. 셋째, 숫자·금액·날짜를 포함한 발화를 별도 카테고리로 구분해 ITN 처리 결과까지 함께 평가합니다. 넷째, 배경 소음이 있는 조건과 없는 조건을 분리해 측정하면 현장 환경 적합성을 더 정확하게 판단할 수 있습니다.

이렇게 구성한 테스트셋으로 측정한 인식률이 95% 이상일 때, 비로소 콜봇 운영 환경에서도 신뢰할 수 있는 성능 기반을 확보했다고 볼 수 있습니다.

STT 93% 함정 — 도메인별 실패 케이스 정리

금융 상품명·약어를 음향 유사 일반어로 치환하여 의도 분류 단계에서 연쇄 실패가 발생했습니다.
ITN 미지원 엔진을 선택해 숫자 발화가 텍스트 그대로 인식되고 금액·기간 파라미터 추출이 무너졌습니다.
하드워드 미등록 상태로 PoC를 진행하여 벤치마크 93%가 도메인 어휘 구간에서 실제 70%대로 수렴했습니다.

범용 STT 수치를 그대로 목표치로 가져가는 것이 콜봇 PoC 실패의 가장 흔한 출발점입니다.

AI 보이스봇이 답답한 이유: Cascaded 구조 레이턴시 완전 분석

6월 13, 2026

자세한 내용 보기

이 블로그 검색

AI에이전트엔지니어링