Взрывной рост распространения моделей ИИ с открытым исходным кодом снижает порог входа для злоумышленников, создающих фальшивые видео, аудио и изображения - Facebook, Twitter и другие платформы к подобному не готовы.
Обилие технологий глубокого обучения и открытые исходники позволяют киберпреступникам с легкостью создавать поддельные изображения, текст и аудио, называемые «Синтетическим медиа». Этот вид медиа-контента можно легко использовать в Facebook, Twitter и других социальных платформах для проведения кампаний по дезинформации и краже личных данных.
На сессии «Black Hat USA 2020» исследователи компании FireEye продемонстрировали как свободно распространяемые инструменты с открытым исходным кодом, содержащие уже обученные модели обработки языка, изображений, видео и распознавания речи, могут быть использованы для создания вредоносных «синтетических медиа».
Синтетические медиа включают в себя поддельные видео, голос и изображения, которые могут быть использованы в различных сценариях кибератак. Например, киберпреступники могут использовать генерируемый текст для подделки электронных писем. В более широком масштабе, эти поддельные носители могут использоваться для создания большего количества вредоносного контента, например, для создания deepfake-порно и организации травли с ее помощью. В других случаях синтетические медиа могут быть использованы для раскачивания общественного мнения, как, например, широкомасштабные кампании по дезинформации с использованием фальшивых знаменитостей.
«Тонкая настройка генерации медиа-контента может быть выполнена не-экспертами и использована в качестве оружия для информационных кампаний в социальных сетях», - заявили Филип Талли, специалист по анализу данных компании FireEye, и Ли Фостер, старший менеджер по анализу информационных операций компании FireEye, во время состоявшейся в среду сессии.
Невысокий входной порог
«В настоящее время в мире «затишье перед бурей» в плане вредоносного использования синтетических медиа», - предупредил Талли.
Социальные сети представляют из себя отличную среду для вредоносного использования такого контента. Информационные кампании в социальных сетях часто не требуют высокой планки доверия к автору, а сами сети предлагают платформу для вирусного распространения фейков, позволяя любому создать поддельное СМИ.
«Одновременно технология создания синтетических медиа становится дешевле, проще, более распространенной и более надежной – значительно сокращая количество затраченного времени», - сообщил Талли. Одна из таких, снижающих барьер для входа, концепций называется «трансфертным обучением». Раньше исследователям, использующим модели глубокого обучения для создания фальшивого контента, приходилось обучать две разные модели данных. Но при трансфертном обучении нейросети изучают одну задачу, а затем обучение на основе этой первой задачи используется для тонкой настройки второй задачи.
«Эта концепция проложила путь к богатой экосистеме моделей с открытым исходным кодом», - говорит Талли. Хотя эти модели с открытым исходным кодом имеют много преимуществ, в том числе, для исследований и обнаружения вредоносных ИИ-ботов - они также приводят к появлению вредоносного фальшивого контента, который распространяется в социальных сетях.
Например, исследователи FireEye обнаружили широкую информационную кампанию, в ходе которой злоумышленники выдавали себя за американских политиков и журналистов в социальных сетях, предположительно в интересах Ирана (в итоге Facebook, Instagram и Twitter заблокировали более 40 аккаунтов). Также были обнаружены аккаунты в соцсетях, подогревающие политические конфликты, например протесты в Гонконге, или паразитирующие на теме эпидемии COVID-19.
Демонстрация BlackHat
Исследователи продемонстрировали различные модели с открытым исходным кодом, которые предоставляют средства для создания синтетического медиа-контента. Например, для создания фальшивых изображений они обратили внимание на архитектуру StyleGAN, которая позволяет осуществлять моделирование изображений, основанное на данных. Архитектура GAN состоит из этапа «mapper», когда входные данные включаются в модель с помощью визуального интерфейса - «генератора», который синтезирует изображение с нуля, и «дискриминатора», который определяет реальные или фальшивые изображения.
Исследователи продемонстрировали клонирование голоса с помощью SV2TTS, трехступенчатой системы глубокого обучения, позволяющей создать цифровое представление голоса из нескольких секунд звука и использовать его для создания подделки. Технически, процесс начинается с ввода оригинальных голосовых данных в «кодировщик». На втором этапе платформа преобразования текста в речь, называемая Tacotron2, генерирует спектрограмму из текста и, наконец, инструмент, называемый моделью WaveRNN, выводит из этих спектрограмм звуковую волну. Голосовая имперсонация - это еще одна активная киберугроза. Атака с подделкой голоса в прошлом году стоила одной компании 243,000 долларов.
Исследователи также продемонстрировали генерацию «синтетического текста», которая может быть достигнута путем тонкой настройки открытой языковой модели известной как GPT-2. GPT-2 - это нейронная сеть с открытым исходным кодом, обученная на обычных задачах моделирования языка. Модель обучена таким образом, что она может точно предсказать следующее слово в предложении и, в конечном итоге, сформировать полные предложения.
Исследователи привели в качестве примера подачу на вход модели текстов Российского агентства интернет-исследований, которое они считают «фабрикой интернет троллей». Такой ввод создал бы в качестве результата сгенерированные тексты, которые затем можно было бы размещать с помощью аккаунтов в рамках «дезинформационных» кампаний в интернете. Например, «Это позор, что наши военные находятся в Ираке и Сирии».
Будущее «Синтетического медиа»
Существуют различные технические возможности защиты от подделок. К ним относится обнаружение подделок с помощью машинного обучения, которое может базироваться на выравнивании глаз, аномалиях зубов, асимметрии ушей, отсутствии моргания и других факторах в мультимедийном контенте.
Платформы социальных сетей также могут принимать меры по проверке подлинности контента, такие как проверка учетных записей или модерация контента и проверка фактов. Тем временем Facebook, Microsoft и ряд университетов проводят конкурс по исследованию методов борьбы с deepfake-контентом. Кроме того, компания Google и другие технологические компании выпустили датасет, содержащий тысячи поддельных видеоматериалов, чтобы помочь исследователям в разработке методов обнаружения подделок.
Однако, «выявление и реагирование представляют собой сложную задачу в тех сценариях, где злоумышленники могут анонимно генерировать и распространять достоверно выглядящие подделки, используя наши собственные обучающие датасеты», - сообщают исследователи. «Мы, как сообщество, можем и должны помочь исследователям в области искусственного интеллекта, политикам и другим заинтересованным сторонам, бороться с вредным использованием моделей ИИ с открытым исходным кодом».
Перевод сделан со статьи https://threatpost.com/
