안내·정책
저장한 기사
두 사람의 음성 파형을 분리하는 오디오 처리 과정을 표현한 이미지
AI모델

Kezek: 단일 채널 2인 대화를 화자별 트랙으로 분리하는 모델

Kezek은 단일 채널(모노)로 녹음된 2인 대화 오디오를 원본 길이와 타이밍을 유지한 채 화자별 트랙으로 분리하는 모델입니다. 겹치는 발화와 짧은 추임새를 각 화자의 트랙에 정확히 유지하며 기존 오픈 파이프라인 대비 높은 성능과 처리 속도를 기록했습니다.

huggingface.co0개 댓글0회 조회

30초 핵심 브리핑

  • Kezek은 2인 모노 대화 오디오를 화자별 개별 트랙으로 분리하여 풀듀플렉스 음성 대화 모델 학습을 지원합니다.
  • 1단계 화자 활동 모델과 2단계 시간 영역 분리기 구조를 적용해 전체 녹음의 화자 식별과 분리를 수행합니다.
  • 기존 pyannote 및 DialogueSidon 오픈 파이프라인 대비 짧은 추임새 유지력이 높고 누출과 채널 스왑이 적으며 4~5배 빠른 속도를 보입니다.

원문 보기 · huggingface.co ↗출처 · Hugging Face Papers

처리 속도
GPU-시간당 약 230시간 오디오
Open Yap 짧은 추임새 유지
0.83 (Kezek) vs 0.69 (오픈 파이프라인)
CallHome English 짧은 추임새 유지
0.80 vs 0.71

풀듀플렉스 음성 대화 모델은 화자별로 채널이 분리된 대화 데이터셋을 통해 턴테이킹, 발화 겹침, 추임새 등을 학습합니다. 하지만 대부분의 기존 대화형 오디오는 단일 모노 믹스 형태로 존재합니다. 허깅페이스 페이퍼에 공개된 Kezek은 정확히 두 사람이 참여한 모노 녹음을 원본 길이와 타이밍을 그대로 보존하면서 각 개인당 하나의 트랙으로 변환하는 모델입니다. 이 과정에서 발화가 겹치거나 'yeah', 'mm-hm' 같은 짧은 응답도 실제로 발화한 사람의 트랙에 그대로 남게 됩니다.

Kezek의 아키텍처는 두 단계로 구성됩니다. 1단계에서는 위상 변화에 둔감하도록 학습된 화자 지문(speaker fingerprint)의 유도를 받는 2중 음성 활동 모델이 전체 녹음에 대해 누가 언제 말하고 누구인지 한 번에 결정합니다. 이어지는 2단계에서는 조건부 시간 영역 분리기(conditioned time-domain separator)가 이 결정을 실행하며, 출력값의 합은 항상 입력값과 일치하도록 설계되었습니다. 표준 분리 측정 방식은 대화 데이터에서 중요한 실패 요인을 놓치기 쉽기 때문에, 연구진은 짧은 응답 유지율, 상대방 솔로 구간으로의 누출, 채널 스왑, 커버리지 등을 지표로 활용했습니다.

Open Yap 테스트 셋에서 Kezek은 짧은 추임새 유지율 0.83을 기록해 0.69에 그친 pyannote에서 DialogueSidon으로 이어지는 오픈 파이프라인보다 우수한 성능을 보였습니다. 보이지 않는 전화 음성 데이터인 CallHome English에서도 상대방 발화 구간 동안 0.80 대 0.71의 유지율을 나타냈습니다. 이러한 차이는 주로 외부 파이프라인이 녹음 일부를 누락하는 반면 Kezek은 전체 녹음을 반환하기 때문이며, 두 시스템 모두가 반환하는 오디오 구간 내에서의 응답 유지율은 약 0.859 대 0.865로 유사했습니다. 또한 Kezek은 더 적은 누출과 채널 스왑 빈도를 보였으며, GPU-시간당 약 230시간 분량의 오디오를 처리하여 기존 대비 4~5배 빠른 속도를 기록했습니다. 연구진은 더 큰 목소리에 묻힌 조용한 응답 등 아직 해결해야 할 한계점인 네거티브 결과와 이상적인 마스크 상한선도 함께 보고했으며, 코드와 가중치는 허용적인 라이선스로 공개되었습니다.

주요 내용 비교

항목내용
오픈 파이프라인 대비 속도GPU-시간당 약 230시간 오디오 (4~5배 빠름)
Open Yap 짧은 추임새 유지0.83 (Kezek) vs 0.69 (오픈 파이프라인)
CallHome English 짧은 추임새 유지0.80 (Kezek) vs 0.71 (오픈 파이프라인)
코드 및 가중치 공개 여부허용적인 라이선스로 공개됨

자주 묻는 질문

Kezek은 어떤 오디오 데이터를 처리할 수 있나요?

Kezek은 정확히 두 사람이 대화하는 단일 채널(모노) 믹스 녹음 오디오를 원본 길이와 타이밍을 유지한 화자별 개별 트랙으로 분리합니다.

기존 오픈 파이프라인과 비교했을 때 Kezek의 성능상 장점은 무엇인가요?

Kezek은 겹치는 발화와 짧은 추임새 유지율이 더 높고, 오디오 녹음을 누락하지 않으며, 누출과 채널 스왑이 적고, GPU-시간당 약 230시간의 오디오를 처리하여 4~5배 빠른 속도를 제공합니다.

댓글

0개

아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.

이 기사가 유용했나요? (선택)

댓글은 이메일을 공개하지 않으며 검토 후 게시됩니다.

AI 에이전트의 규칙 준수 여부를 점검하는 디지털 평가 과정을 표현한 이미지
AI모델

실무 환경 속 지속성 있는 AI 에이전트의 규칙 위반 측정 벤치마크 Unfinished-Bench 공개

Hugging Face Papers에서 공개한 Unfinished-Bench는 사용자 감독 없이 장시간 실행되는 지속형 AI 에이전트의 현실적인 규칙 위반 위험을 측정하는 벤치마크입니다. 7개 조직과 7개 위험 카테고리 내 97개 시나리오를 통해 에이전트의 지속성이 규칙 위반에 미치는 영향을 분석합니다.

인공초지능과 재귀적 자기 개선의 한계를 다룬 컴퓨터 과학적 분석 일러스트
AI모델

인공초지능(ASI) 도래 주장의 3가지 기술적 허점과 실무적 위험

최근 앤스로픽과 OpenAI 등 주요 AI 기업들이 재귀적 자기 개선(RSI)을 통한 초지능 도달 가능성을 경고하고 있으나, 컴퓨터 과학 관점에서는 계산 가능성 한계와 데이터 병목 등으로 인해 실현 가능성이 희박하다는 지적이 제기되었습니다. 그러나 지능 폭발이 오지 않더라도 자율 실행 시스템의 오남용으로 인한 실무적 위협은 여전히 유효합니다.