텍스트 에이전트에 목소리를 입히다 — ElevenLabs와 IBM watsonx의 결합

2026년 3월 25일, ElevenLabs와 IBM이 공동 발표를 통해 음성 AI 협력을 공식화했다. IBM의 에이전틱 AI 오케스트레이션 플랫폼인 watsonx Orchestrate에 ElevenLabs의 텍스트-음성 변환(TTS) 및 음성-텍스트 변환(STT) 기술이 탑재되면서, 엔터프라이즈 환경의 AI 에이전트가 '목소리'를 갖게 됐다.

대부분의 에이전트는 아직 텍스트로만 말한다

AI 에이전트의 폭발적인 성장에도 불구하고, 대부분의 엔터프라이즈 에이전트는 여전히 텍스트 기반으로 운영된다. 채팅봇, 이메일 자동화, 문서 처리 파이프라인이 대표적이다. 그러나 현실에서 고객 서비스의 상당 부분은 여전히 전화 통화를 통해 이뤄지고, 내부 운영 시스템도 음성 인터페이스에 대한 수요가 커지고 있다. IBM은 watsonx Orchestrate를 통해 멀티스텝 업무 자동화와 에이전트 오케스트레이션을 제공해왔다. 금융, 보험, 헬스케어, 유틸리티 등 규제 산업을 주요 타깃으로 삼아온 플랫폼 특성상, 고품질 음성 인터랙션은 오랜 숙제였다. IBM이 자체 TTS 솔루션을 보강하는 대신 ElevenLabs와의 협력을 선택한 것은 시장 속도와 기술 품질 모두를 고려한 판단으로 풀이된다.

ElevenLabs는 2022년 창업 이후 빠르게 음성 AI 분야의 선두 주자로 자리잡았다. 10,000개 이상의 음성 라이브러리, 70개 언어 지원, 감정과 억양까지 재현하는 정밀한 TTS 품질이 강점이다. 기존 Amazon Polly, Google TTS 대비 자연스러움에서 높은 평가를 받아온 ElevenLabs가 IBM이라는 엔터프라이즈 채널을 통해 대규모 기업 시장에 진입하는 구조이기도 하다.

오케스트레이션 파이프라인 안으로 들어온 음성

이번 협력의 기술적 핵심은 ElevenLabs의 TTS와 STT 양방향 기능이 모두 watsonx Orchestrate에 통합된다는 점이다. 단순히 외부 API를 호출하는 방식이 아니라, 오케스트레이션 파이프라인 내의 네이티브 스텝으로 음성 생성과 음성 인식이 포함된다. TTS(Text-to-Speech)는 에이전트가 생성한 텍스트 응답을 고품질 음성으로 변환한다. 10,000개 이상의 사전 학습된 음성 중 선택하거나 기업별 커스텀 음성을 적용할 수 있고, 감정 표현·말의 속도·억양 조절이 가능해 딱딱한 기계음이 아닌 자연스러운 대화 흐름을 만든다. STT(Speech-to-Text)는 고객이나 사용자의 발화를 텍스트로 변환해 에이전트의 추론 엔진에 입력한다. 70개 언어와 다양한 지역 억양(accent)을 처리할 수 있어 글로벌 기업의 다국어 서비스 시나리오에 대응한다. 개발자 입장에서 가장 의미 있는 변화는 음성 처리를 위한 별도의 서드파티 API 통합 작업이 사라진다는 점이다. watsonx Orchestrate의 워크플로우 빌더 내에서 음성 입출력 스텝을 직접 배치할 수 있어 개발 복잡도가 크게 줄어든다.

⤢✕

음성 입출력이 오케스트레이션 루프의 시작과 끝에 자연스럽게 위치한다는 점이 눈에 띈다. 기존에는 음성 처리를 위한 별도 서비스 계층이 존재했고, 이를 오케스트레이션 엔진과 연결하기 위한 커스텀 어댑터 개발이 필요했다. 이번 통합은 그 레이어를 제거한다. 컴플라이언스 레이어가 별도로 독립돼 있어 음성 데이터가 통과하는 전 과정에서 규정 준수를 보장하는 구조도 취하고 있다. 금융, 의료 등 데이터 민감도가 높은 산업을 겨냥한 설계 선택이다.

음성도 규정을 따라야 한다

엔터프라이즈 음성 AI에서 가장 큰 장벽 중 하나는 보안과 규정 준수다. 특히 금융과 헬스케어 분야에서는 음성 데이터가 개인정보보호법, 금융 규정, 의료 정보 보호 규정의 적용을 받는다. 결제 처리 과정에서 카드 번호·계좌 정보 등 민감한 금융 데이터가 음성으로 전달될 때 PCI DSS 기준에 따른 암호화 및 처리 보안을 적용하는 PCI 컴플라이언스는 은행과 결제 서비스 기업이 안전하게 음성 결제 에이전트를 구현할 수 있는 기반이 된다. HIPAA 준수 데이터 처리를 위한 핵심 기능인 Zero Retention Mode(제로 보존 모드)는 음성 처리 과정에서 발생한 데이터가 서버에 저장되지 않도록 설계돼, 헬스케어 기업이 환자 상담 에이전트를 구현할 때 중요한 전제 조건이 된다. 데이터가 처리·저장되는 지리적 위치를 기업이 지정할 수 있는 데이터 레지던시(Data Residency)는 유럽의 GDPR, 국내 개인정보보호법 등 데이터 현지화 요건을 충족하기 위한 장치로, 글로벌 기업이 각국의 규정을 준수하면서 단일 플랫폼을 운영할 수 있게 해준다. 이런 보안 기능들은 ElevenLabs가 스타트업 시장을 넘어 엔터프라이즈 시장으로 진입하기 위해 IBM과의 협력에서 특별히 강화한 부분이며, ElevenLabs의 기존 소비자 제품에는 없거나 제한적이었던 기능들이 IBM의 엔터프라이즈 요건에 맞춰 구현됐다.

금융부터 유틸리티까지, 어디에 쓸 수 있나

IBM과 ElevenLabs는 이번 통합의 주요 타깃 산업으로 금융, 보험, 헬스케어, 유틸리티를 명시했다. 금융(은행)에서는 AI 전화 에이전트가 계좌 잔액 조회, 이체 처리, 대출 상담, 분실 카드 신고를 24시간 처리할 수 있다. 기존 IVR(자동응답시스템)보다 훨씬 자연스러운 대화가 가능하며, 복잡한 상담도 에스컬레이션 없이 처리할 수 있고 PCI 컴플라이언스가 내재화돼 있어 결제 관련 음성 인터랙션도 안전하게 운용된다. 보험에서는 보험 청구 접수, 보험료 문의, 갱신 처리 등을 자동화할 수 있으며, 다국어 지원이 강점이라 이민자 고객이 많은 보험사가 70개 언어로 서비스를 제공하고 지역 억양까지 지원해 특정 방언권 고객도 자연스러운 인터랙션이 가능하다. 헬스케어에서는 진료 예약, 처방전 리필 요청, 검사 결과 안내를 음성 에이전트로 처리할 수 있고, Zero Retention Mode로 HIPAA 요건을 충족하면서 환자 음성 데이터를 안전하게 처리한다. 고령 환자나 디지털 접근성이 낮은 사용자에게 특히 유용하다. 유틸리티에서는 정전 신고, 요금 조회, 서비스 신청을 AI 음성 에이전트로 처리하고, 재난 상황에서 폭증하는 문의 전화를 동시 다발적으로 처리하는 고가용성 시나리오도 지원한다. 외부 고객 서비스뿐 아니라 직원용 IT 헬프데스크, HR 문의, 내부 지식베이스 검색 등 내부 운영 및 직원 경험 영역도 음성으로 처리할 수 있어, 현장 근무자나 이동 중인 직원이 손을 사용하지 않고 업무 시스템에 접근할 수 있게 해준다.

음성 AI 시장에서 ElevenLabs가 선택된 이유

음성 AI 시장은 Amazon Polly, Google Cloud TTS, Microsoft Azure Speech, OpenAI TTS 등 빅테크들의 경쟁이 치열하다. ElevenLabs는 이 경쟁에서 특히 음성의 자연스러움과 감정 표현 면에서 독보적인 위치를 확보했다. 10,000개 이상의 사전 학습 음성 라이브러리는 경쟁 서비스 대비 압도적인 선택지를 제공해, 기업이 브랜드 이미지에 맞는 음성 페르소나를 선택하거나 실제 인물의 목소리를 클로닝해 일관된 브랜드 음성을 구현할 수 있다. 70개 언어 지원과 지역 억양 처리는 글로벌 엔터프라이즈의 요건을 충족한다. 단순히 언어를 지원하는 수준을 넘어, 같은 스페인어라도 카스티야 억양과 라틴아메리카 억양을 구분해 처리할 수 있는 세밀함이 있다. 감정 표현 능력도 차별화 요소다. "제품 환불이 완료되었습니다"라는 문장을 읽을 때, 단순히 텍스트를 읽는 것이 아니라 공감과 확인의 감정을 담아 전달할 수 있다. 이는 고객 만족도에 직접적인 영향을 미치는 요소로, ElevenLabs의 핵심 기술 자산이다.

개발자가 체감하는 변화

기존 watsonx Orchestrate 기반의 AI 에이전트에 음성 기능을 추가하려면 별도의 음성 처리 서비스를 계약하고, API를 연동하고, 인증을 관리하고, 오류 처리를 구현해야 했다. 이 과정은 수일에서 수 주의 개발 기간을 요구했다. 통합 이후에는 watsonx Orchestrate의 워크플로우 빌더에서 음성 입력 스텝과 음성 출력 스텝을 드래그앤드롭으로 배치하는 수준으로 음성 기능을 추가할 수 있다. 플랫폼이 ElevenLabs와의 통신, 인증, 오류 처리를 모두 관리하므로 개발자는 비즈니스 로직에 집중할 수 있다. 확장성 측면에서도 개선이 있다. 기존에는 고트래픽 상황에서 음성 처리 서비스의 속도 제한(rate limit)에 부딪히거나 복수의 음성 서비스 인스턴스를 직접 관리해야 했지만, 통합 플랫폼에서는 IBM의 인프라가 고가용성과 고동시성을 관리해 대규모 트래픽 상황에서도 일관된 성능을 보장받을 수 있다.

남은 숙제들

이번 발표가 갖는 의의에도 불구하고 몇 가지 현실적인 과제가 남아 있다. ElevenLabs의 프리미엄 TTS는 품질만큼 비용도 높아, 대규모 콜센터 운영에서 음성 처리 비용이 전체 운영 비용에 미치는 영향이 적지 않다. IBM watsonx Orchestrate 자체의 라이선스 비용에 ElevenLabs 음성 처리 비용이 추가되는 구조에서, 총 소유 비용(TCO) 계산이 기업의 도입 결정에 핵심 변수가 될 것이다. 실시간 전화 대화에서 음성 인식과 응답 생성, 음성 합성이 연속적으로 이뤄지는 과정의 총 지연시간은 사용자 경험에 직결되며, 클라우드 기반 처리에서 네트워크 레이턴시를 포함한 전체 응답 시간이 대화 흐름을 깨지 않을 수준으로 유지되어야 한다. 기업마다 특수한 도메인 용어, 브랜드 음성 요건, 특정 억양 선호도가 있는데, 플랫폼이 제공하는 기본 설정을 넘어서는 커스터마이제이션이 얼마나 용이한지는 실제 도입 과정에서 드러날 부분이다. Microsoft가 Azure Speech와 Copilot Studio를 통해 유사한 통합을 이미 제공하고 있고, Google도 CCAI(Contact Center AI) 플랫폼으로 엔터프라이즈 음성 AI 시장을 공략하고 있어, IBM과 ElevenLabs가 이 경쟁에서 차별화된 포지션을 유지하려면 지속적인 기술 혁신과 엔터프라이즈 지원 역량이 필요하다.

텍스트만으로는 충분하지 않다. 고객과 직원이 실제로 상호작용하는 방식은 음성이며, AI 에이전트가 진정한 업무 자동화 도구로 자리잡으려면 음성 인터페이스는 선택이 아닌 필수다. watsonx Orchestrate에 ElevenLabs의 프리미엄 음성이 탑재되면서, IBM의 엔터프라이즈 고객들은 규정을 준수하면서도 인간에 가까운 음성 에이전트를 구현할 수 있는 기반을 갖추게 됐다. 금융, 보험, 헬스케어 등 규제 산업에서 이 통합이 어떤 실제 성과로 이어지는지가 향후 6개월 내 이 협력의 성공 여부를 가늠하는 척도가 될 것이다.

25년간 IT 인프라와 시스템 통합 현장을 지켜본 경험에서, 기술 발표와 실제 현장 적용 사이에는 항상 간극이 존재한다고 말할 수 있다. 그러나 이번 협력은 양사 모두의 시장 압력이 충분히 강하고, 기술적 준비도도 상당한 수준에 있다는 점에서 실제 도입 사례가 빠르게 쌓일 것으로 전망된다. 음성 AI의 엔터프라이즈화가 본격적으로 시작됐다.