Группа ученых продемонстрировала новые атаки, использующие модели Text-to-SQL для создания вредоносного кода, который может позволить противникам получить конфиденциальную информацию и организовать атаки типа «отказ в обслуживании» (DoS).
«Чтобы лучше взаимодействовать с пользователями, широкий спектр приложений баз данных использует методы искусственного интеллекта, которые могут переводить вопросы человека в SQL-запросы (метод называется «Text-to-SQL»)» - рассказал The Hacker News Ксутан Пенг, исследователь из Университета Шеффилда.
«Мы обнаружили, что, задавая некоторые специально разработанные вопросы, хакеры могут обмануть модели Text-to-SQL и создать вредоносный код. Поскольку такой код автоматически выполняется в базе данных, последствия могут быть довольно серьезными (например, утечка данных или DoS-атака)».
Полученные результаты, которые были проверены на двух коммерческих решениях BAIDU-UNIT и AI2sql, являются первым эмпирическим примером использования моделей обработки естественного языка (NLP) в качестве вектора атаки.
Атаки «черного ящика» аналогичны SQL-инъекциям, когда встраивание нежелательной полезной нагрузки во входной запрос копируется в построенный SQL-запрос, что приводит к неожиданным результатам.
Специально созданная полезная нагрузка, как показало исследование, может быть использована для выполнения вредоносных SQL-запросов, которые могут позволить злоумышленнику модифицировать внутренние базы данных и проводить DoS-атаки на сервер.
Кроме того, изучение второй категории атак показало возможность повреждения различных предварительно обученных языковых моделей (PLM) - моделей, которые были обучены на большом наборе данных, оставаясь при этом независимыми от сценариев использования, на которых они применяются - для запуска генерации вредоносных команд на основе определенных триггеров.
«Существует множество способов установки бэкдоров в системы на базе PLM путем отравления обучающих образцов, например, замена слов, разработка специальных подсказок и изменение стиля предложений» - пояснили исследователи.
Атаки на четыре различных модели с открытым исходным кодом (BART-BASE, BART-LARGE, T5-BASE, и T5-3B) с использованием корпуса, отравленного вредоносными образцами, достигли 100% успеха с незначительным заметным влиянием на производительность, что делает такие проблемы трудно обнаруживаемыми в реальном мире.
В качестве мер по смягчению последствий исследователи предлагают использовать классификаторы для проверки подозрительных строк во входных данных, оценивать готовые модели для предотвращения угроз цепочки поставок и придерживаться надлежащей практики разработки программного обеспечения.
Источник: https://thehackernews.com
