풀듀플렉스 음성 대화 모델은 화자별로 채널이 분리된 대화 데이터셋을 통해 턴테이킹, 발화 겹침, 추임새 등을 학습합니다. 하지만 대부분의 기존 대화형 오디오는 단일 모노 믹스 형태로 존재합니다. 허깅페이스 페이퍼에 공개된 Kezek은 정확히 두 사람이 참여한 모노 녹음을 원본 길이와 타이밍을 그대로 보존하면서 각 개인당 하나의 트랙으로 변환하는 모델입니다. 이 과정에서 발화가 겹치거나 'yeah', 'mm-hm' 같은 짧은 응답도 실제로 발화한 사람의 트랙에 그대로 남게 됩니다.
Kezek의 아키텍처는 두 단계로 구성됩니다. 1단계에서는 위상 변화에 둔감하도록 학습된 화자 지문(speaker fingerprint)의 유도를 받는 2중 음성 활동 모델이 전체 녹음에 대해 누가 언제 말하고 누구인지 한 번에 결정합니다. 이어지는 2단계에서는 조건부 시간 영역 분리기(conditioned time-domain separator)가 이 결정을 실행하며, 출력값의 합은 항상 입력값과 일치하도록 설계되었습니다. 표준 분리 측정 방식은 대화 데이터에서 중요한 실패 요인을 놓치기 쉽기 때문에, 연구진은 짧은 응답 유지율, 상대방 솔로 구간으로의 누출, 채널 스왑, 커버리지 등을 지표로 활용했습니다.
Open Yap 테스트 셋에서 Kezek은 짧은 추임새 유지율 0.83을 기록해 0.69에 그친 pyannote에서 DialogueSidon으로 이어지는 오픈 파이프라인보다 우수한 성능을 보였습니다. 보이지 않는 전화 음성 데이터인 CallHome English에서도 상대방 발화 구간 동안 0.80 대 0.71의 유지율을 나타냈습니다. 이러한 차이는 주로 외부 파이프라인이 녹음 일부를 누락하는 반면 Kezek은 전체 녹음을 반환하기 때문이며, 두 시스템 모두가 반환하는 오디오 구간 내에서의 응답 유지율은 약 0.859 대 0.865로 유사했습니다. 또한 Kezek은 더 적은 누출과 채널 스왑 빈도를 보였으며, GPU-시간당 약 230시간 분량의 오디오를 처리하여 기존 대비 4~5배 빠른 속도를 기록했습니다. 연구진은 더 큰 목소리에 묻힌 조용한 응답 등 아직 해결해야 할 한계점인 네거티브 결과와 이상적인 마스크 상한선도 함께 보고했으며, 코드와 가중치는 허용적인 라이선스로 공개되었습니다.
댓글
0개아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.