ИТ / Статьи
информбезопасность соцсети
28.5.2021

Дипфейком не вышел

Программы по выявлению фальшивых лиц спасут репутацию известных людей

Новая информационная угроза – дипфейки – побудила экспертов активно заниматься созданием ПО для выявления подделок видео, создаваемых нейросетью. Управление перспективных исследовательских проектов Минобороны США (DARPA) уже несколько лет ведет ряд программ по выявлению таких IT-продуктов. Эксперты полагают, что новые технологии информбезопасности не столько ударят по росту киберпреступности, сколько помогут выявлять фейки на известных людей в СМИ и соцсетях.


РАСПОЗНАТЬ ДВОЙНИКА

В конце мая пресс-секретарь президента РФ Дмитрий Песков в ходе марафона «Новое знание» обратил внимание на то, что мир стоит на пороге очередной угрозы – дипфейков*. Центробанк России также отметил, что использование видеосвязи для удаленного открытия счетов новым банковским клиентам несет риски из-за применения этой технологии, передает РБК.

В основном к видеоподделкам прибегают для развлекательных целей, рассказала RSpectr руководитель проектов по информационной безопасности компании BPS Кристина Анохина. Например, есть приложение, которое позволяет вместо лица киноперсонажа разместить в кадре свое.

Однако

потенциально технология может стать опасным оружием, например, в политических баталиях или в финансовых махинациях

В США дипфейки воспринимают крайне серьезно. Разработкой программ для выявления поддельных изображений на видео и фото занялось DARPA. Ведомство ведет сразу несколько проектов. Ключевыми являются Media Forensics (MediFor) и Semantic Forensics (SemaFor).

В основе MediFor лежат инструменты сопоставления физических данных в изображениях, сообщается в исследовании Научно-технического центра ФГУП «Главный радиочастотный центр» (НТЦ ГРЧЦ). Например, информация о количестве морганий за единицу времени или выравнивание лица в системе координат по лицевым ориентирам. Используется сверка по числу пикселей в изображении. Моделируется зависимость между областями фото или видео – насколько мелкие детали скоординированы с остальными в различных частях картинки. Анализируются структуры помех светочувствительных датчиков цифровых камер. При подмене изображений трансформируются и помехи, это помогает выявить сгенерированную фиктивную визуализацию. Также проверяется соответствие эмоциональности речи с движениями и мимикой.

Программа SemaFor начала разрабатываться в конце 2018 года, говорит К.Анохина. «С ее помощью можно повысить безопасность в Сети за счет выявления ложной информации среди сотен тысяч рассказов, фотографий, видео- и звуковых материалов», – сообщила эксперт. К.Анохина отмечает, что изначально полноценное внедрение алгоритмов программы планировалось на 2022 год, но сейчас сложно спрогнозировать, когда произойдет запуск.

В рамках программы MediFor исследователи Университета в Олбани еще в 2018 году предложили сверточную нейронную сеть (CNN) для распознавания ложных сгенерированных видео на примере частоты моргания человеческого глаза.

Лицо, не имеющее верную частоту моргания на видеоизображении, распознается как сгенерированное

Но в настоящий момент технология признана неустойчивой к выявлению дипфейков.

В 2019 году ученые из университета Беркли в 2019 году предложили биометрический подход для моделирования типичных для человека выражений лица и движений при разговоре. Эти корреляции нарушаются при создании дипфейков. В основе исследования лежат методы судебно-медицинской экспертизы, адаптированные для обнаружения цифровых подделок.

Существует три типа генерации изображений с аудиосопровождением:

1. По морганию. Данные для синтеза лиц не изображают человека с закрытыми глазами. Следующее поколение методов синтеза включает мигание в свои системы, что снижает эффективность детектирования.

2. На основе различий в трехмерной позе головы. Это позволяет сопоставить черты всего лица и центральной области. Правда, метод неэффективен для подделок с синхронизацией движения губ.

3. Экспертиза низкоуровневых пиксельных артефактов. Метод требует много времени и трудозатрат по отмыванию дополнительных шумов, повторного сжатия, изменения размера.

Начальник отдела информационной безопасности «СёрчИнформ» Алексей Дрозд в разговоре с RSpectr отмечает, что

технологии подделок развиваются очень быстро, поэтому проекты вроде Media Forensics должны дорабатываться в режиме нон-стоп

Алексей Дрозд, «СёрчИнформ»:

– Разработчики защитных систем, по сути, соревнуются с мошенниками: чем выше качество deep fake, тем лучше должны работать системы их выявления. И как только становится известно о новых критериях, по которым можно распознать подделку, создатели дипфейков сразу учатся их обходить. Это значит, что завтра поддельные лица на видео начнут моргать как обычный человек.


ВОЙНА АЛГОРИТМОВ

Одно из направлений дипфейков – спуфинг-атаки (мистификация), когда поддельное изображение используется для обмана биометрической системы (БС) распознавания лиц. Российские ученые из исследовательского университета ИТМО и компании «ЦРТ-инновации» в своем докладе отмечают, что наиболее эффективная схема обмана биометрической системы – прямая загрузка фотографии в БС. Однако для этого злоумышленникам требуется получить доступ к ПО, что значительно усложняет нападение.

Для предотвращения спуфинг-атак применяются активные и пассивные методы. Активные запрашивают от пользователя совершения определенного действия: улыбнуться, моргнуть, наклонить или повернуть голову. Пассивные обычно применяют для анализа только одно изображение, по которому непосредственно строится биометрический шаблон. Оба варианта удобны в использовании и позволяют исключить демонстрацию фотографии в промежуток между процессами определения витальности лица и верификации, говорят ученые в своем исследовании.

Программа DARPA SemaFor выросла из проекта Media Forensics. Экспертиза мультимедийных материалов была разработана для автоматизации поиска фальшивых текстов, аудио, изображений, видео. Программа должна защитить от крупномасштабных дезинформационных атак в режиме реального времени.

Исследования в рамках SemaFor направлены на моделирование выражения лица и движений

В сгенерированных изображениях синхронизация динамики лица, головы и верхней части туловища нарушена. Эти исследования позволят создать биометрические модели известных личностей и выявлять фальшивые материалы с их изображением. Кроме этого, проведены исследования по сохранению формы объекта, границ и краев картинок и снижению помех: сдвиги в освещении, разрешение сенсора, изменение спектра. Они позволяют распознавать фальшивые изображения.

Существующие алгоритмы автоматизированного создания и обработки мультимедиа для дипфейков допускают семантические ошибки. Например, лица, рожденные нейросетью, могут иметь несоответствия: разные детали аксессуаров, растрепанные волосы или необычный фон. Здесь необходимо создать набор детекторов семантической несогласованности, который позволит быстро выявлять несоответствия. Анализ и классификация информационных материалов будут проводиться по определенным характеристикам: источнику, алгоритму создания, способу управления.

А.Дрозд уверен, что основная цель применения таких наборов – поиск и борьба с распространением фейк-ньюс. «Недаром проект Semantic Forensics, из которого вырос MediaFor, стартовал в трамповские времена. Борьба с интернет-троллями, фишингом, кражей личности – второстепенная задача», – считает эксперт.

К.Анохина также полагает, что

SemaFor будет применяться в соцсетях и СМИ для защиты чьей-то репутации

Например, в случаях, когда для компромата используется дипфейк.

Эксперты полагают, что появление антифейковых программ не повлияет на улучшение информбезопасности.

Алексей Дрозд, «СёрчИнформ»:

– Чем эффективнее будут выявлять фейки, тем сложнее злоумышленникам будет продвигать мошеннические кампании. Но создавать высокотехнологичные подделки видео и голоса – дорого и трудозатратно. Проще обманывать людей напрямую и по старинке – недаром простые телефонные атаки только набирают обороты. Таким образом, Media Forensics или другие разоблачительные разработки ударят по довольно узкому сегменту мошенничеств.

Ожидать сокрушительной победы над киберпреступниками за счет новых программ не приходится. Другой вопрос – дадут ли SemaFor или MediFor возможность злоумышленникам порождать идеальные цифровые подделки, если они получат доступ к программам?

«Система может указывать, как делать качественные дипфейки. Любое вычисление подделок основывается на поиске недочетов, несоответствий сгенерированной картинки и реального изображения. Поэтому создатели и пользователи Media Forensics смогут за счет аналитики устранить известные недостатки и делать более совершенные фейки», – считает А.Дрозд.


ЛИНГВИСТИЧЕСКАЯ ЗАЩИТА

Помимо SemaFor или MediFor DARPA разрабатывает ряд программ в области обработки информации:

  •   LORELEI (Low Resource Languages for Emergent Incidents) – алгоритм анализа грамматики малых языков и мониторинга событий и ситуаций на территориях с редкими языками.
  •  BOLT (Broad Operational Language Translation) – перевод неформального текста и речи в личном и онлайн-общении на операционный язык. Это позволяет понимать собеседников и различать общественные настроения на любом языке.
  •  DEFT (Deep Exploration and Filtering of Text) – автоматизированная глубокая обработка естественного языка для анализа текстовой информации, обеспечения понимания связей в публикации, которые неочевидны для человека, и выявление смысловых аномалий.
  •  SOCIALSIM (Computational Simulation of Online Social Behavior) – моделирование эволюционного развития информсреды на основе данных из открытых источников. Это позволяет анализировать поведение потенциальных противников и предотвращать дезинформационные кампании.

Большинство программ направлено на лингвистический анализ, но эксперты считают, что они будут не столь актуальны.

Кристина Анохина, BPS:

– В настоящее время применяются различные семантические и лингвистические программы по анализу текстов, но, когда будет внедрен алгоритм SemaFor, эти инструменты уйдут на второй план. Есть, к примеру, система Fakebox, которая помогает определять поддельные новости в соцсетях, но она работает не на 100 процентов. Система обнаруживает подозрительные материалы и рекомендует проявлять к ним особое внимание с точки зрения критичной оценки их достоверности. Далее получатель информации уже сам принимает решение, верить новости или нет. SemaFor же выдает более точные результаты.

Как именно будет работать семантический, лингвистический анализ текстовых новостей, чтобы определить в них подделку, пока неясно, говорит А.Дрозд. Эксперт отмечает, что разработок по автоматизированному определению заведомой лжи по тексту нет.

Алексей Дрозд, «СёрчИнформ»:

– Даже вручную без знания контекста, автора и его убеждений сложно сказать наверняка, пишет он правду или нет. А вот в успех распознавания фейковых аудио и видео верится больше. Уже сейчас публикуется масса исследований на эту тему, известны маркеры, которые указывают на дипфейк.


МАРШРУТЫ ЛЖИ

Ученые из Университета штата Нью-Йорк создали алгоритм, который вычисляет подделки по несимметричным бликам в зрачках.

«По видео и аудио легче распознать ложь в словах выступающих спикеров, корреспондентов, политиков. То есть можно вычислять не только подделки технического толка, но и прямую дезинформацию. Техники верификации лжи широко известны, в теории их возможно оцифровать», – говорит А.Дрозд.

Из перспективных направлений эксперт выделяет концепцию системы распознавания источников видео- и аудиофрагментов, задействованных в фейковом ролике. «Могу представить себе этакий Shazam для видео, который, например, указывал бы: кадры с пятой по тридцатую секунды в сюжете, который подается как свежая съемка в Африке, сняты пять лет назад в США. Это действительно поможет бороться со лживыми информационными кампаниями», – считает А.Дрозд.

Также

эффективно будет строить «контентные маршруты» для фейковых сообщений: отслеживать их источник и сети распространения

Основные критерии для поиска сомнительного контента тоже можно сформулировать. Например, подозрение должны вызывать:

  • единичный источник с сомнительной репутацией;
  • распространение через одни и те же взломанные страницы или так называемых «ботов»;
  • заведомая «скандальность», «вирусность» сообщения.

Алгоритмы, способные с точностью выявить схемы распространения, охват подделкой, точку вброса, помогут бороться с заказными фейк-кампаниями и мошенническими планами.

* Дипфейк – технология синтеза изображения (видео или фото), основанная на искусственном интеллекте.

Изображение: RSpectr, Freepik.com

ЕЩЕ ПО ТЕМЕ:

Что в звездном имени тебе моем
Эксперты выявили новые схемы онлайн-мошенничества с использованием изображений популярных людей


Еще по теме

Что сделано и не сделано в цифровизации России за 2023 год

Как заботу о вычислениях переложить на вендоров и почему не все к этому готовы

Как искусственный интеллект меняет банковскую систему РФ

Как проходит цифровая трансформация отечественного госсектора

Процесс замены иностранного софта близится к завершению – и это вызов

Почему отраслевые облачные платформы экономят время и деньги компаний

Настоящее и будущее искусственного интеллекта в управлении

Насколько эффективной будет маркировка синтезированного нейросетью контента

Каковы перспективы трансфера технологий госуправления в другие страны

К чему приведет новый всплеск интереса к метавселенным

Что мешает отечественным разработчикам цифровых решений

Каким должен быть современный продакт-менеджмент в мире облачных технологий

Безопасная разработка софта и как она помогает бизнесу сэкономить деньги

Как ИТ-технологии меняют логистические процессы

Какие специальности в ИИ-индустрии будут востребованы в 2024 году