최근 음성 인식인 Speech-to-Speech Translation이란?

1. Speech-to-Speech Translation이란?

• 공식 명칭: 주로 '음성-대-음성 번역 (Speech-to-Speech Translation, S2ST)' 또는 '종단 간 음성-대-음성 번역 (End-to-End Speech-to-Speech Translation)'으로 언급됩니다. 구글은 이러한 시스템을 "Translatotron"으로 명명했으며, Meta는 다양한 양방향 번역 기능을 포함하는 "SEAMLESSM4T" 모델을 개발했습니다.
• 알고리즘: 이 기술은 주로 시퀀스-투-시퀀스(sequence-to-sequence) 네트워크를 기반으로 합니다. 입력 음성의 스펙트로그램(주파수의 시각적 표현)을 받아 대상 언어의 스펙트로그램을 생성합니다. 이 과정에서 인코더-디코더 구조를 활용하며, 신경망 기반의 음성 인코더, 언어 디코더, 음향 합성기, 그리고 이들을 연결하는 어텐션(attention) 모듈이 포함될 수 있습니다. 딥러닝 아키텍처로는 순환 신경망(RNN), 장단기 기억(LSTM), 컨볼루션 신경망(CNN), 트랜스포머(Transformer) 등이 활용됩니다.
• 특징:
  • 중간 텍스트 표현 불필요: 기존의 음성 번역 시스템과 달리 중간 단계에서 텍스트로 변환하는 과정을 거치지 않고 음성에서 음성으로 직접 번역합니다.
  • 화자 음성 및 운율 유지: 원본 화자의 목소리 특성, 억양, 운율 등을 번역된 음성에서도 유지할 수 있습니다. 이는 캐스케이드 시스템(ASR-MT-TTS)에서는 어려운 부분입니다.
  • 향상된 추론 속도 및 오류 감소: 여러 구성 요소를 순차적으로 거치는 캐스케이드 시스템에 비해 추론 속도가 빠르며, 구성 요소 간의 오류 누적을 자연스럽게 피할 수 있습니다.
  • 비번역어 처리 용이: 이름이나 고유 명사처럼 번역할 필요가 없는 단어를 더 잘 처리할 수 있습니다.
  • 저자원 언어 지원 가능성: 서면 형태가 없는 언어를 지원하거나 음성 전사 없이 훈련될 수 있는 잠재력을 가집니다.

2. TTS와 다른 점

전통적인 TTS (Text-to-Speech, 텍스트 음성 변환)는 텍스트를 입력으로 받아 인공 음성을 합성하는 기술입니다. 반면, 음성 자체를 학습하여 대화하는 기술은 Speech-to-Speech Translation (S2ST)으로, 음성 신호를 직접 다른 언어의 음성 신호로 변환합니다.

주요 차이점은 다음과 같습니다.

• 중간 단계: TTS는 텍스트를 반드시 중간 단계로 사용하지만, S2ST는 텍스트 변환 없이 음성에서 음성으로 직접 진행됩니다.
• 구성 요소: 전통적인 음성 번역 시스템은 자동 음성 인식(ASR)으로 음성을 텍스트로 변환하고, 기계 번역(MT)으로 텍스트를 번역한 후, TTS로 번역된 텍스트를 다시 음성으로 합성하는 캐스케이드 방식을 사용합니다. S2ST는 이러한 여러 단계를 하나의 종단 간 모델로 통합합니다.
• 정보 보존: S2ST는 화자의 음성 특성이나 운율과 같은 비언어적 정보 및 부수 언어적 정보를 번역 과정에서 보존할 수 있다는 장점이 있습니다. TTS는 텍스트에서 음성을 생성하므로 이러한 정보가 일반적으로 소실됩니다.

3. 주로 어떤 분야에 효과적으로 사용 가능하나?

• 실시간 다국어 커뮤니케이션: 외교, 관광, 국제 무역 등 언어 장벽을 허물어야 하는 분야에서 실시간으로 자연스러운 대화를 가능하게 하여 글로벌 소통을 촉진합니다.
• 접근성 향상: 언어적, 청각적 제약이 있는 사람들이 더 쉽게 소통하고 정보를 얻을 수 있도록 돕습니다.
• 콘텐츠 현지화: 영화, 게임, 교육 콘텐츠 등 다양한 미디어의 음성 더빙 및 현지화에 활용하여 몰입감 있는 경험을 제공할 수 있습니다.
• 음성 비서 및 챗봇: 더욱 자연스럽고 인간적인 상호작용을 제공하는 고급 음성 비서 및 대화형 AI 시스템 구축에 기여합니다.
• 언어 교육: 발음 및 억양 교정 등 언어 학습 보조 도구로 활용될 수 있습니다.
• 의료 분야: 환자와 의사 간의 의사소통을 돕고 임상 메모 작성을 자동화하는 등 의료 전문가의 업무 효율을 높일 수 있습니다.

4. 고객이 느낄 때 어떤 장점과 효과가 있을까?

• 더욱 자연스럽고 유창한 대화 경험: 기계적이고 부자연스러운 음성 대신 원본 화자의 음색, 억양, 감정을 살린 번역된 음성을 들을 수 있어 대화의 흐름이 끊기지 않고 더욱 자연스럽게 느껴집니다.
• 빠르고 즉각적인 소통: 중간 텍스트 변환 과정이 없어 번역에 걸리는 시간이 단축되어 실시간 소통이 가능해지므로, 대기 시간이 줄어들고 고객 문의가 신속하게 해결됩니다.
• 개인화된 상호작용: 화자의 고유한 목소리 특징이 보존되어, 마치 화자 본인이 직접 해당 언어로 말하는 듯한 개인화된 느낌을 받을 수 있습니다.
• 오해 감소 및 정확도 향상: 텍스트 기반 번역에서 발생할 수 있는 맥락 오류나 미묘한 의미 손실을 줄여 더욱 정확한 의사소통을 돕습니다.
• 문화적, 감성적 연결 강화: 음성의 운율과 억양 보존은 단순히 정보를 전달하는 것을 넘어 문화적 뉘앙스나 감정까지 전달하여 사용자 간의 더 깊은 연결을 가능하게 합니다.
• 쉬운 접근성: 언어를 모르거나 읽기/쓰기에 어려움이 있는 사람들도 음성으로 직접 소통할 수 있어 디지털 서비스에 대한 접근성이 크게 향상됩니다.

OpenAI는 음성을 텍스트로 변환하지 않고 음성 자체를 학습하여 대화하는 기술을 지칭할 때, 여러 구성 요소를 아우르는 좀 더 광범위한 용어들을 사용합니다. 가장 직접적으로는 "GPT-Realtime"이라는 새로운 음성-대-음성 AI 모델과 이를 지원하는 "Realtime API"를 통해 이러한 기능을 제공하고 있습니다.

이전에는 음성-대-음성 번역을 구현하기 위해 OpenAI의 Whisper 모델(음성-텍스트 변환)과 텍스트-음성 변환(TTS) API, 그리고 GPT와 같은 대규모 언어 모델(LLM)을 조합하는 캐스케이드(cascaded) 방식을 사용했습니다. 그러나 GPT-Realtime은 이러한 과정을 통합하여 중간 텍스트 변환 없이 오디오 자체를 직접 처리함으로써 지연 시간을 줄이고 더 자연스러운 대화 경험을 제공하는 데 중점을 둡니다.

OpenAI는 또한 ChatGPT의 "Advanced Voice Mode (AVM)" 기능을 통해 실시간 음성 번역 기능을 제공하며, 이는 GPT-4o와 같이 오디오를 직접 "듣고" 생성하도록 설계된 다중 모드 모델을 활용합니다. 이러한 맥락에서 "Live Speech Translation" 또는 "Real-time Speech Translation"이라는 표현도 사용됩니다.

요약하자면, OpenAI에서 음성을 텍스트로 변환하지 않고 음성 자체를 학습하여 대화하는 기술의 가장 직접적인 명칭은 다음과 같습니다.

• GPT-Realtime (새로운 음성-대-음성 AI 모델)
• Realtime API (GPT-Realtime 모델을 통해 음성-대-음성 경험을 개발자가 구축할 수 있도록 지원하는 API)
• Advanced Voice Mode (AVM) (ChatGPT 내의 실시간 음성 상호작용 및 번역 기능)

이들은 기존의 음성 인식(Whisper) 및 텍스트 음성 변환(TTS) 기술을 기반으로 하면서도, 이들을 통합하여 더 빠르고 자연스러운 종단 간 음성-대-음성 상호작용을 가능하게 하는 기술에 해당합니다.