AV-FABLE: исследователи собрали 998 часов видео для поиска точечных дипфейков

Команда исследователей, связанных с Tsinghua University, опубликовала AV-FABLE — бенчмарк для судебной экспертизы длинных аудио-визуальных видео. В него вошли 16 650 пар «чистый ролик — отредактированный двойник», всего 998 часов материала и 27 конфигураций правок. Вместе с ним авторы предлагают метод NFSR. Он учится находить манипуляции не в тексте ответов мультимодальной модели, а в её замороженных внутренних признаках.

Почему вердикта «фейк или нет» недостаточно

Реальные подделки редко охватывают весь ролик. Чаще это короткий эпизод внутри подлинной записи: подменённая фраза, вставленный фрагмент, изменённая сцена. Классификация на уровне всего видео здесь бесполезна. Ролик на 90% настоящий, и именно эти 10% нужно найти и показать эксперту.

Существующие аудио-визуальные дипфейк-бенчмарки в основном построены на коротких клипах с говорящей головой. Работы по временной локализации в длинных видео в основном визуальные. AV-FABLE закрывает этот разрыв: сцены открытые, ролики длинные, манипуляции разреженные.

Важная деталь конструкции — два независимых таймлайна, аудио и видео. Подмена голоса при нетронутой картинке и, наоборот, правка кадров при оригинальном звуке оцениваются отдельно. По словам авторов, при оценке на общем таймлайне часть ошибок скрывается: модель получает зачёт за попадание в интервал, хотя угадала не ту модальность.

Языковая модель молчит, хотя признаки всё знают

Авторы проверили аудио-визуальные большие языковые модели (AV-LLM) в режиме zero-shot, то есть через обычный промпт. Результат слабый: детекция близка к случайной, временная локализация плохая. Если спрашивать такие модели «где здесь подделка», они не отвечают по существу.

Затем исследователи взяли замороженные перцептивные признаки тех же моделей и обучили поверх них контролируемые «считывающие» головы. Сильный форензический сигнал нашёлся. Вывод: свидетельства манипуляции в представлениях AV-LLM закодированы, но языковой выход их не показывает. Знание есть, интерфейса к нему нет.

Два декодера вместо одного

На этом наблюдении построен NFSR (Native Forensics via Separated Readouts). Схема такая:

• backbone — замороженная AV-LLM, её веса не дообучаются;
• аудио-декодер считывает признаки и предсказывает временные интервалы манипуляций в звуке;
• визуальный декодер делает то же для видеоряда;
• декодеры раздельные, поэтому каждая модальность получает свою временную разметку.

По сообщению авторов, NFSR показывает лучшую аудио-визуальную локализацию внутри домена и во всех трёх out-of-distribution сценариях. Один из них — перенос на отложенные видео из внешнего бенчмарка по форензике длинных роликов.

Параметры бенчмарка и метода

• Название: AV-FABLE, dual-timeline benchmark для разреженных манипуляций в открытых длинных аудио-визуальных видео.
• Объём: 16 650 пар «оригинал — манипуляция», 998 часов.
• Правки: 27 конфигураций редактирования.
• Разметка: отдельные таймлайны для аудио и видео.
• Базовый уровень: zero-shot AV-LLM дают детекцию около случайной и слабую локализацию.
• Метод: NFSR с замороженными признаками AV-LLM и раздельными аудио- и визуальными временными декодерами.
• Оценка: лидерство in-domain и в трёх OOD-сценариях, включая внешний бенчмарк длинных видео.
• Публикация: датасет, код и веса модели обещают открыть. Препринт — arXiv 2610.33413, у работы 25 апвоутов в Hugging Face Daily Papers.

Для платформ и редакций, которые проверяют видеоконтент, подход прагматичен. Не нужно обучать огромную мультимодальную модель с нуля: можно взять готовую AV-LLM, заморозить и добавить лёгкие декодеры. Раздельные таймлайны дают проверяющему конкретный результат: «подмена в звуке на такой-то минуте» вместо общего «подозрительно». Если веса и данные выйдут в открытый доступ, как обещано, бенчмарк, скорее всего, станет рабочим стандартом для сравнения детекторов длинных подделок. Он же покажет, насколько быстро растёт отставание защиты от генеративных инструментов редактирования.