AI에이전트엔지니어링

"전화로 말만 하면 주문도 되고 결제까지 끝나는" 음성 에이전트. 듣기에는 매끄럽지만, 막상 만들려고 하면 결제라는 마지막 한 걸음에서 모두가 멈칫합니다. 음성 인식이 아무리 좋아져도 순수하게 음성만으로 결제를 완결하는 설계는 사실상 피하는 것이 정석입니다. 이번 글에서는 "왜 음성만으로 결제를 못 끝내는가"를 인식 오류율과 금전 거래의 리스크 비대칭, 확인(confirmation) 단계, 그리고 멀티모달 결합이라는 정석 해법으로 나누어 정리합니다. [시리즈] S2S·LLM 음성 에이전트 엔지니어링 63편 · 현재 7-1편 ← 이전: 6-5 온디바이스·엣지 S2S와 프라이버시 / 다음 → 7-2 온프레미스 vs 클라우드 S2S 경제학 6-4 SIP·PSTN 전화망 연동 6-5 온디바이스·엣지 S2S와 프라이버시 7-1 음성 결제와 멀티모달의 한계 (현재 글) 7-2 온프레미스 vs 클라우드 S2S 경제학 7-3 글로벌 보이스 에이전트 지형도 전체 목차 펼치기 (63편) Part 1 — 음성 AI가 느린 이유: 레이턴시 진단 (4편) 1-1 AI 보이스봇이 답답한 이유 — Cascaded 레이턴시 1-2 1초의 벽 — 지연이 UX를 결정하는 이유 1-3 지연 줄이기 — 스트리밍·청크로 TTFT 단축 1-4 RAG 병목과 오디오 버퍼링 제어 Part 2 — 텍스트를 넘어: End-to-End S2S의 원리 (4편) 2-1 End-to-End S2S 작동 원리 2-2 OpenAI Realtime API vs 오픈소스 S2S 2-3 음성 토큰(Audio Token)이란 2-4 감정·톤 조절이 CS를 바꾸는 이유 Part 3 — 실시간 대화와 에이전트화: 인터럽트·MCP·도구 (5편) 3-1 실시간 인터럽트(끼어들기) 감지 3-2 실시간 음성에 MCP가 필요한 이유 3-3 스트리밍 중 MCP 초고속 데이터 룩업 3-4 통화 중 외부 API 도구 호출 3-5 실시간 ...

우리는 음성 AI를 이야기할 때 거의 자동으로 클라우드를 떠올립니다. 사용자의 말소리가 서버로 올라가고, 거대한 모델이 그 음성을 듣고 답을 만들어 다시 내려보내는 그림입니다. 그런데 음성은 우리가 다루는 데이터 중에서도 가장 민감한 축에 속합니다. 목소리에는 말의 내용뿐 아니라 누구인지, 어떤 상태인지까지 담깁니다. 그렇다면 모든 통화를 굳이 클라우드까지 보내야만 할까요. 이번 글에서는 실시간 음성 대 음성(Speech-to-Speech, 이하 S2S) 모델을 기기 안이나 가까운 엣지에서 돌리는 선택지를 정리합니다. 클라우드로 보낸 뒤 어떻게 보호할지(암호화·마스킹)는 다른 편의 주제이고, 여기서는 아예 클라우드를 거치지 않는 쪽의 이야기를 합니다. [시리즈] S2S·LLM 음성 에이전트 엔지니어링 63편 · 현재 6-5편 ← 이전: 6-4 SIP·PSTN 전화망 연동 / 다음 → 7-1 음성 결제와 멀티모달의 한계 6-3 보이스 페르소나 디자인 6-4 SIP·PSTN 전화망 연동 6-5 온디바이스·엣지 S2S와 프라이버시 (현재 글) 7-1 음성 결제와 멀티모달의 한계 7-2 온프레미스 vs 클라우드 S2S 경제학 전체 목차 펼치기 (63편) Part 1 — 음성 AI가 느린 이유: 레이턴시 진단 (4편) 1-1 AI 보이스봇이 답답한 이유 — Cascaded 레이턴시 1-2 1초의 벽 — 지연이 UX를 결정하는 이유 1-3 지연 줄이기 — 스트리밍·청크로 TTFT 단축 1-4 RAG 병목과 오디오 버퍼링 제어 Part 2 — 텍스트를 넘어: End-to-End S2S의 원리 (4편) 2-1 End-to-End S2S 작동 원리 2-2 OpenAI Realtime API vs 오픈소스 S2S 2-3 음성 토큰(Audio Token)이란 2-4 감정·톤 조절이 CS를 바꾸는 이유 Part 3 — 실시간 대화와 에이전트화: 인터럽트·MCP·도구 (5편) 3-1 실시간 인터럽트(끼어들기) 감지 3-...

음성 AI 데모는 대개 웹 브라우저에서 시작합니다. 마이크 버튼을 누르고 말하면 AI가 바로 대답하니 꽤 그럴듯하게 들립니다. 그런데 실제 콜센터에서 고객은 브라우저가 아니라 '전화'로 겁니다. 데모와 운영 사이의 이 간극이 생각보다 깊습니다. 전화로 들어오는 음성은 웹과는 전혀 다른 망과 다른 신호 규약을 거쳐 도착하기 때문입니다. 이번 글에서는 실시간 음성 AI를 실제 전화망에 연결할 때 마주치는 핵심 개념을 정리합니다. PSTN과 SIP 같은 전화망 기본기부터, 전화 오디오를 AI 파이프라인으로 잇는 미디어 게이트웨이, 8kHz 협대역 음질 문제, DTMF·통화 전환·녹취 같은 운영 요소, 그리고 전화망과 웹을 잇는 브리징까지 한 번에 짚어 보겠습니다. [시리즈] S2S·LLM 음성 에이전트 엔지니어링 63편 · 현재 6-4편 ← 이전: 6-3 보이스 페르소나 디자인 / 다음 → 6-5 온디바이스·엣지 S2S와 프라이버시 6-2 턴테이킹과 시맨틱 VAD 6-3 보이스 페르소나 디자인 6-4 SIP·PSTN 전화망 연동 (현재 글) 6-5 온디바이스·엣지 S2S와 프라이버시 7-1 음성 결제와 멀티모달의 한계 전체 목차 펼치기 (63편) Part 1 — 음성 AI가 느린 이유: 레이턴시 진단 (4편) 1-1 AI 보이스봇이 답답한 이유 — Cascaded 레이턴시 1-2 1초의 벽 — 지연이 UX를 결정하는 이유 1-3 지연 줄이기 — 스트리밍·청크로 TTFT 단축 1-4 RAG 병목과 오디오 버퍼링 제어 Part 2 — 텍스트를 넘어: End-to-End S2S의 원리 (4편) 2-1 End-to-End S2S 작동 원리 2-2 OpenAI Realtime API vs 오픈소스 S2S 2-3 음성 토큰(Audio Token)이란 2-4 감정·톤 조절이 CS를 바꾸는 이유 Part 3 — 실시간 대화와 에이전트화: 인터럽트·MCP·도구 (5편) 3-1 실시간 인터럽트(끼어들기) 감...

음성 AI를 만들 때 우리는 흔히 "무슨 말을 하게 할까"부터 고민합니다. 답변 시나리오, 응대 매뉴얼, 정확한 정보. 그런데 정작 사용자가 처음 느끼는 것은 내용이 아니라 목소리 그 자체입니다. 같은 "안녕하세요, 무엇을 도와드릴까요"라는 문장도, 낮고 차분한 목소리로 들으면 신뢰가 가고, 높고 빠른 목소리로 들으면 어딘가 들뜬 느낌을 받습니다. 즉 음성 AI에는 글자로 적히지 않는 또 하나의 정체성, 바로 '목소리 정체성'이 있습니다. 이번 글에서는 이 목소리를 통화가 시작되기 전에 미리 기획하는 작업, 즉 보이스 디자인(voice design)을 다룹니다. 실시간으로 감정을 읽고 톤을 바꾸는 운영 이야기가 아니라, 처음에 "어떤 목소리를 가질지"를 정하는 설계 단계의 이야기입니다. [시리즈] S2S·LLM 음성 에이전트 엔지니어링 63편 · 현재 6-3편 ← 이전: 6-2 턴테이킹과 시맨틱 VAD / 다음 → 6-4 SIP·PSTN 전화망 연동 6-1 한국어 음성 AI의 난관 — 존댓말·코드스위칭 6-2 턴테이킹과 시맨틱 VAD 6-3 보이스 페르소나 디자인 (현재 글) 6-4 SIP·PSTN 전화망 연동 6-5 온디바이스·엣지 S2S와 프라이버시 전체 목차 펼치기 (63편) Part 1 — 음성 AI가 느린 이유: 레이턴시 진단 (4편) 1-1 AI 보이스봇이 답답한 이유 — Cascaded 레이턴시 1-2 1초의 벽 — 지연이 UX를 결정하는 이유 1-3 지연 줄이기 — 스트리밍·청크로 TTFT 단축 1-4 RAG 병목과 오디오 버퍼링 제어 Part 2 — 텍스트를 넘어: End-to-End S2S의 원리 (4편) 2-1 End-to-End S2S 작동 원리 2-2 OpenAI Realtime API vs 오픈소스 S2S 2-3 음성 토큰(Audio Token)이란 2-4 감정·톤 조절이 CS를 바꾸는 이유 Part 3 — 실...

음성 AI와 대화하다 보면 두 가지 어색함을 자주 겪습니다. 하나는 아직 말이 끝나지 않았는데 봇이 불쑥 끼어들어 답을 시작하는 경우이고, 다른 하나는 분명히 말을 마쳤는데 봇이 한참 침묵하다 뒤늦게 반응하는 경우입니다. 흥미롭게도 두 문제 모두 응답 모델이 느려서가 아니라, 봇이 "사용자의 말이 언제 끝났는가"를 제대로 읽지 못해서 생깁니다. 이번 글에서는 대화의 타이밍을 결정하는 발화 종료 감지(turn-taking)와, 전통적인 음성 활동 감지(VAD)의 한계를 넘기 위한 시맨틱 VAD, 그리고 엔드포인팅·침묵 타임아웃·백채널 처리까지를 정리합니다. [시리즈] S2S·LLM 음성 에이전트 엔지니어링 63편 · 현재 6-2편 ← 이전: 6-1 한국어 음성 AI의 난관 — 존댓말·코드스위칭 / 다음 → 6-3 보이스 페르소나 디자인 5-7 프롬프트 A/B 테스트와 튜닝 6-1 한국어 음성 AI의 난관 — 존댓말·코드스위칭 6-2 턴테이킹과 시맨틱 VAD (현재 글) 6-3 보이스 페르소나 디자인 6-4 SIP·PSTN 전화망 연동 전체 목차 펼치기 (63편) Part 1 — 음성 AI가 느린 이유: 레이턴시 진단 (4편) 1-1 AI 보이스봇이 답답한 이유 — Cascaded 레이턴시 1-2 1초의 벽 — 지연이 UX를 결정하는 이유 1-3 지연 줄이기 — 스트리밍·청크로 TTFT 단축 1-4 RAG 병목과 오디오 버퍼링 제어 Part 2 — 텍스트를 넘어: End-to-End S2S의 원리 (4편) 2-1 End-to-End S2S 작동 원리 2-2 OpenAI Realtime API vs 오픈소스 S2S 2-3 음성 토큰(Audio Token)이란 2-4 감정·톤 조절이 CS를 바꾸는 이유 Part 3 — 실시간 대화와 에이전트화: 인터럽트·MCP·도구 (5편) 3-1 실시간 인터럽트(끼어들기) 감지 3-2 실시간 음성에 MCP가 필요한 이유 3-3 스트리밍 중 MCP 초...