Проверить видео на дипфейк по пульсу лица вместо поиска ляпов

Поэтому вопрос «как проверить видео на дипфейк» постепенно смещается из области визуального угадывания в область биометрии. Не ищем «ляпы». Смотрим, есть ли в лице физиология. В частности — пульс. Метод называется rPPG, remote photoplethysmography, дистанционная фотоплетизмография. Звучит как прибор из кабинета функциональной диагностики. На деле принцип грубее и интереснее: камера фиксирует микроскопические изменения цвета кожи, вызванные притоком крови при каждом ударе сердца. Если лицо в видео выглядит как человек, но не ведёт себя как живая ткань, у нас появляется не эмоция, а проверяемый сигнал.

Почему охота за визуальными артефактами стала плохим компасом

Старый набор советов по дипфейкам выглядел бодро: проверьте уши, волосы, зубы, моргание, контур лица, отражения в очках. В 2019 году это ещё могло работать. Иногда даже слишком хорошо: дипфейки выдавали себя грубыми швами на границе лица и шеи, «плывущими» веками, мыльной кожей, странной синхронизацией губ.

Но у такого подхода есть неприятная особенность. Он догоняет вчерашнюю ошибку модели. Как только генератор научился чинить конкретный класс артефактов, инструкция устарела. Проверяющий остаётся с лупой, но без предмета.

Сравниваем два подхода без романтики:

Вот почему «проверить видео на дипфейк по пульсу лица вместо поиска ляпов» — не просто красивая фраза для презентации. Это смена предмета проверки. Мы перестаём оценивать картинку как зрители и начинаем проверять её как поток измерений.

Дипфейк может научиться моргать. Но ему сложнее убедительно притвориться кровеносной системой.

Здесь нужна оговорка, и лучше сразу. rPPG не магический детектор истины. Он не ставит печать «реально» или «подделка» на любой ролик из Telegram, пережатый пять раз и снятый в полумраке. Метод требователен к исходнику. Но именно поэтому он интересен: у него есть физическая логика, а не набор примет уровня «посмотрите, не странные ли у него брови».

Как rPPG видит пульс там, где глаз видит лицо

Дистанционная фотоплетизмография работает на простой физиологии. При каждом ударе сердца кровь поступает в периферические сосуды. Кожа лица чуть меняет оптические свойства: яркость и цвет отдельных участков колеблются. Глаз этого почти не замечает. Камера замечает, если видео достаточно качественное.

Алгоритм не «видит пульс» как красную лампочку. Он делает более скучную работу:

1. Находит область лица, обычно лоб, щёки или несколько зон с открытой кожей.

2. Отслеживает пиксели в этих зонах по кадрам.

3. Измеряет слабые изменения интенсивности в RGB-каналах видимого спектра.

4. Фильтрует шум: движение головы, изменение света, мимику, компрессию.

5. Ищет периодический сигнал, соответствующий сердечному ритму.

Нормальная частота сердечных сокращений у взрослого человека обычно лежит примерно в диапазоне 60–100 ударов в минуту. Это не значит, что любое значение вне диапазона — дипфейк. Человек мог бежать, нервничать, болеть, быть спортсменом с низким пульсом. Фактчек начинается не с «ага, поймали», а с вопроса: есть ли вообще согласованный физиологический сигнал, похожий на работу живой ткани.

Для видеопроверки критична частота кадров. Минимальный практический порог — около 30 кадров в секунду. Лучше выше. Если ролик снят или опубликован в виде дёрганого фрагмента с низким FPS, rPPG превращается в гадание по остаткам данных. И это не слабость исследователя. Это математика дискретизации: нельзя надёжно восстановить тонкий периодический сигнал из каши кадров.

Ещё один важный момент: метод работает с видимым спектром, то есть с обычными RGB-данными камеры. Не нужен тепловизор. Не нужен контактный датчик. Поэтому rPPG привлекает исследователей дипфейков: теоретически сигнал можно извлечь из обычного видео лица. Практически — если видео не убито светом, сжатием и монтажом.

Почему GAN хорошо рисует кожу, но плохо имитирует кровоток

Большинство генеративных моделей оптимизируются под визуальное сходство. Их задача — сделать так, чтобы кадр был правдоподобен для человека или классификатора. Кожа должна выглядеть как кожа. Лицо должно сохранять идентичность. Мимика должна совпадать с речью. Всё логично.

Но биологическая достоверность — другой слой. У живого лица пульсовой сигнал не случайно мерцает на щеке и отдельно на лбу. Он связан с сердечным ритмом, сосудистой системой, освещением, положением головы. В разных участках лица сигнал может отличаться по амплитуде, но должен быть согласованным. Это не просто шум поверх текстуры.

У дипфейка часто получается обратная картина: лицо выглядит гладко, убедительно, даже «дорого», но микроскопические изменения цвета не складываются в физиологически правдоподобный ритм. Где-то сигнал пропадает. Где-то появляется нерегулярное мерцание от генерации или компрессии. Где-то разные зоны лица ведут себя так, будто принадлежат разным людям или вообще разным источникам света.

Исследования 2019–2021 годов как раз и подхватили эту идею: если GAN сфокусированы на визуальном реализме, можно проверять не пиксельную красоту, а скрытую биометрию. На контролируемых датасетах вроде FaceForensics++ алгоритмы обнаружения дипфейков на основе rPPG показывали точность выше 90%. Сухая цифра. Приятная. Но с маленькой колючкой: «на контролируемых датасетах».

Вот здесь многие популярные пересказы обычно делают лишний прыжок. Из «точность выше 90% в лабораторных условиях» получают «можно разоблачить любой дипфейк в соцсетях». Нет. Нельзя. Между датасетом и реальным интернетом лежат пересылки, обрезки, фильтры, автокоррекция, дрожащая камера, экранная запись экранной записи и тот самый вертикальный ролик, который пережил три платформы и два водяных знака.

Для общего новостного мониторинга я обычно держу рядом две плоскости проверки: контекстную и техническую. Контекст — кто первым опубликовал, есть ли архивная копия, совпадает ли событие с независимыми сообщениями, как его подают деловые и новостные ленты вроде Daily Business & Live News. Техника — что можно вытащить из самого файла: кадры, метаданные, сжатие, биометрические признаки. Если одна плоскость молчит, вторая иногда начинает говорить.

Что нужно, чтобы проверка по пульсу вообще имела смысл

Теперь к неприятной части. rPPG любит хорошие условия. Интернет любит плохие.

Для анализа нужны не идеальные студийные съёмки, но хотя бы материал, где лицо занимает заметную часть кадра и освещено стабильно. Если человек сидит в полутёмной машине, свет мигает от фонарей, камера скачет, а ролик пережат до состояния акварели, алгоритм получит не пульс, а шумовой суп.

Практически я бы смотрел на такие параметры:

• Частота кадров от 30 fps. Ниже можно пытаться, но уверенность падает. Для тонких колебаний цвета нужна временная плотность.

• Стабильное освещение. Переменный свет маскирует слабые изменения кожи. Особенно плохо работают мигающие экраны, клубный свет, проезжающие тени.

• Открытая кожа лица. Маска, плотный грим, сильные фильтры, пересвет или тёмная экспозиция уменьшают полезную область.

• Минимум движения. Повороты головы, активная мимика, размытие и тряска камеры добавляют ложные колебания.

• Слабая компрессия. Видео после многократной пересылки в мессенджерах может потерять именно те микроскопические изменения пикселей, ради которых всё затевалось.

• Достаточная длина фрагмента. По двум секундам нельзя уверенно судить о пульсовом ритме. Нужна последовательность, где можно увидеть периодичность.

Особенно токсичны короткие вирусные нарезки. Десять секунд, обрезанное лицо, субтитры на полэкрана, скачущий битрейт. В таком материале rPPG может не найти сигнал даже у настоящего человека. Это не доказывает дипфейк. Это доказывает только непригодность образца для такого анализа.

Отсутствие найденного пульса в плохом видео — не улика. Иногда это всего лишь плохое видео, как ни обидно для красивой гипотезы.

И наоборот: наличие похожего пульсового сигнала не делает ролик автоматически подлинным. Продвинутые системы могут учиться имитировать физиологические признаки. В исследовательской повестке это уже очевидный следующий ход. Если детектор смотрит на пульс, генератор рано или поздно попробует нарисовать пульс. Гонка продолжается. Просто поле стало тоньше.

Как выглядит рабочая проверка: не кнопка, а цепочка

Если задача — не написать рекламный текст для «биометрического детектора», а реально проверить видео на дипфейк, я бы не начинал и не заканчивал одним rPPG. Метод полезен как слой верификации. Один из нескольких.

Рабочая цепочка выглядит так.

1. Сохраняем исходник максимально близко к первому опубликованному файлу. Не скринкаст, не репост с водяным знаком, не запись с экрана. Ищем первоисточник или самый ранний доступный вариант. Сравниваем хеши, если есть доступ к файлам. Делаем архивную копию страницы.

2. Отделяем контейнер от содержания. Смотрим метаданные, кодек, разрешение, FPS, следы перекодирования. Метаданные легко подделать или потерять, но они всё равно дают контекст.

3. Оцениваем пригодность для rPPG. Есть ли лицо, свет, длительность, частота кадров, стабильность? Если нет, честно фиксируем: метод неприменим. Не «дипфейк», не «не дипфейк». Неприменим.

4. Извлекаем лицевые области по кадрам. Не одну случайную щёку, а несколько зон. Проверяем, согласуются ли сигналы между участками.

5. Сравниваем найденный ритм с физиологически правдоподобным диапазоном. Помним про 60–100 ударов в минуту как обычную норму, но не превращаем её в дубинку.

6. Сопоставляем с другими признаками. Синхронизация губ, акустика голоса, монтажные склейки, контекст публикации, наличие независимых записей того же события.

7. Формулируем вывод с уровнем уверенности. Не «доказано Вселенной», а «имеются признаки синтетической генерации», «метод не применим из-за качества», «rPPG не выявил противоречий, но это не подтверждает подлинность».

Последний пункт самый скучный и самый важный. В фактчекинге обычно проваливаются не на алгоритме, а на формулировке. Детектор сказал «низкая вероятность подлинности» — заголовок написал «ИИ разоблачил фейк». Между этими фразами расстояние примерно как между термометром и диагнозом.

Где метод ломается в реальном интернете

Реальный интернет не уважает лабораторные условия. Он пережимает видео, добавляет фильтры, меняет частоту кадров, накладывает субтитры, обрезает лица, переснимает телевизор телефоном и гордо называет это «доказательством».

Надёжность rPPG после сильного сжатия, особенно после пересылки в мессенджерах, остаётся проблемной зоной. Не стоит делать вид, что она закрыта. Если видео прошло через WhatsApp, Telegram, затем TikTok, затем снова Telegram, от тонкого цветового сигнала может остаться статистическая пыль. Алгоритм будет честно пытаться найти периодичность, но искать он будет в испорченном материале.

Есть и другой сценарий. Ролик настоящий, но условия плохие: человек сидит под LED-лампой с мерцанием, камера автоматически прыгает по экспозиции, лицо частично закрыто, кожа пересвечена. rPPG может ошибочно не выделить стабильный пульс. Если проверяющий слишком влюблён в метод, он объявит это подозрительным. Если проверяющий трезв, он запишет: данные недостаточны.

Отдельно стоит сказать про будущие атаки. Если детекторы дипфейков массово начнут полагаться на физиологические сигналы, генераторы будут обучать имитацию этих сигналов. Это обычная история безопасности: защита создаёт стимул для обхода. Поэтому rPPG ценен не как вечная кнопка истины, а как очередной уровень сложности для фальсификатора.

Для подделки уже мало нарисовать похожее лицо. Нужно обеспечить согласованный пульсовой сигнал в разных областях кожи, сохранить его при движении, мимике, смене света, компрессии и монтаже. Это повышает цену качественного фейка. Не отменяет его.

Почему пульс лучше «глазомера», но хуже полноценной экспертизы

У анализа пульса лица есть сильная сторона: он вытаскивает проверку из субъективного «мне кажется». Визуальные артефакты зависят от насмотренности. Один человек увидит странную линию подбородка, другой скажет, что так сжимает платформа. rPPG даёт измеряемый временной сигнал. Его можно извлечь, отфильтровать, сравнить, воспроизвести на том же материале.

Но полноценная экспертиза не сводится к одному измерению. Особенно если речь о публично значимом видео. Тут нужны несколько независимых линий:

• технический анализ файла и следов перекодирования;

• покадровый осмотр монтажа и синхронизации;

• проверка голоса и акустики, если аудио значимо;

• поиск первоисточника и ранних публикаций;

• сравнение с другими записями события;

• биометрические методы, включая rPPG, если качество позволяет.

Если эти линии сходятся, вывод становится крепче. Если расходятся, появляется работа. Сухая, медленная, не очень пригодная для вирусного поста. Зато полезная.

И здесь есть хороший практический фильтр. Любой сервис или эксперт, обещающий «100% определить дипфейк по одному видео», продаёт не проверку, а спокойствие. Настоящая проверка почти всегда говорит языком вероятностей, ограничений и условий. Да, звучит менее эффектно. Зато ближе к реальности.

Итог: проверяем не лицо, а биологию картинки

Проверить видео на дипфейк по пульсу лица вместо поиска визуальных ляпов — разумный ход, если исходник позволяет это сделать. rPPG использует слабые изменения цвета кожи, связанные с сердечным ритмом, и тем самым проверяет то, что генеративные модели долго игнорировали: физиологическую согласованность.

Метод особенно силён там, где есть качественное видео лица, нормальный FPS, стабильный свет и достаточная длительность фрагмента. В таких условиях исследования показывали точность выше 90% на контролируемых наборах данных. Это серьёзно. Но не универсально.

В реальном интернете rPPG надо применять без фетишизма. Плохой ролик может убить пульсовой сигнал у настоящего человека. Продвинутая генерация может начать имитировать биометрию. Сжатие мессенджеров может превратить полезные пиксели в шум. Поэтому корректный вывод звучит так: анализ пульса лица — более глубокий и перспективный способ детекции дипфейков, чем охота за кривыми глазами и пальцами. Но это не оракул. Это инструмент. Хороший инструмент в руках того, кто сначала проверяет качество данных, а уже потом делает заголовок.