WeVisForensics 에이전틱 프레임워크의 작동 구조
WeVisForensics는 메인 조사관 에이전트가 자가 진화하는 시각·오디오 포렌식 검사관 서브에이전트 라이브러리를 조율하는 구조입니다.
최근 동영상 생성 기술의 발전으로 명시적 포렌식 증거에 기반한 신뢰할 수 있는 탐지 기술의 필요성이 대두되고 있습니다. 기존 방법들은 단일 패스 사고 체인 추론에 의존해 짧거나 국소적인 인위적 흔적을 놓치거나, 사전 정의된 다중 에이전트 워크플로우를 사용하여 관련 검사 선택에서 유연성이 부족한 한계가 있었습니다.
이에 따라 WeVisForensics는 메인 조사관이 어떤 아티팩트 유형을 검사할지, 어떤 윈도우를 확인할지, 언제 조사를 마칠지 학습하는 에이전틱 프레임워크를 도입했습니다. 관련 소스 코드는 GitHub 저장소에서, 모델은 Hugging Face 모델 페이지 및 프로젝트 페이지에서 확인할 수 있습니다.
DTPO 전략과 ForenCue-30K 데이터셋의 역할
DTPO 듀얼 타임스케일 정책은 조사관의 빠른 강화학습과 검사관의 느린 정교화를 결합해 상호 피드백을 제공합니다.
단순히 조사 정책을 최적화하는 것만으로는 고정된 전문가의 포렌식 능력이 직접 향상되지 않습니다. 이를 해결하기 위해 연구진은 조사관의 빠른 강화학습과 주석이 달린 아티팩트 구간의 안내에 따른 검사관의 느린 정교화를 연결하는 듀얼 타임스케일 정책 최적화(DTPO) 전략을 도입했습니다.
또한 역할별 포렌식 주석과 상호작용 궤적을 결합하여 개별 검사와 조율을 감독하는 ForenCue-30K 데이터셋과 강화학습 풀을 함께 구축했습니다. 이를 통해 과거에 놓쳤던 미세한 아티팩트까지 국소적 증거에 기반하여 보고할 수 있도록 설계되었습니다.
인도메인 및 벤치마크 탐지 성능 평가 결과
WeVisForensics는 인도메인, 아웃오브도메인, 에이전틱 벤치마크에서 평균 95.2%의 탐지 정확도를 기록했습니다.
실험 결과에 따르면 WeVisForensics는 인도메인, 아웃오브도메인, 에이전틱 벤치마크 전반에서 평균 95.2%의 탐지 정확도를 달성했습니다. 이는 기존 최고 성능의 탐지기보다 9.0% 높은 수치입니다.
연구진은 이러한 성능 향상이 단순히 높은 수치 도출에 그치지 않고, 탐지된 판결을 명시적인 국소적 포렌식 증거로 뒷받침할 수 있다는 점에서 신뢰성을 확보했다고 설명합니다.

댓글
0개아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.