Рост киберугроз с использованием искусственного интеллекта

Группа Google по исследованию угроз (GTIG) опубликовала новый отчет о киберугрозах искусственного интеллекта. Киберугрозы развиваются в направлении промышленного применения генерирующих моделей в рамках конкурирующих рабочих процессов. В отчете, основанном на результатах исследований Mandiant по реагированию на киберугрозы, подчеркивается двойственная природа текущей среды угроз, в которой искусственный интеллект служит одновременно сложным механизмом для проведения операций хакеров и ценной мишенью для атак.

Отмечается, что GTIG предотвратила попытку массовой кибератаки, в ходе которой злоумышленник использовал искусственный интеллект для атаки через уязвимости нулевого дня. Искусственный интеллект успешно идентифицировал семантическую логическую ошибку, которая позволила злоумышленникам полностью обойти двухфакторную аутентификацию, и внедриться через удаленный доступ.

В исследовании отмечается, что кодирование, основанное на искусственном интеллекте, ускорило разработку злоумышленниками инфраструктурных наборов и полиморфных вредоносных программ. Эти циклы разработки с применением искусственного интеллекта облегчают уклонение от защиты, позволяя интегрировать логику-приманку, созданную искусственным интеллектом, во вредоносное программное обеспечение.

Исследователи наблюдали, как злоумышленники экспериментировали со специализированным хранилищем уязвимостей, размещенным на GitHub, известным как “wooyun-legacy”. Проект разработан в виде плагина Claude code skill, который объединяет собранную базу знаний из более чем 85 000 реальных случаев обнаружения уязвимостей. Вводя в модель данные об уязвимостях, она облегчает обучение в контексте, позволяя модели подходить к анализу кода как опытному эксперту и выявлять логические ошибки, которые в противном случае не были бы приоритетными в базовой модели.

В ходе исследования уязвимостей были отмечены явные признаки автоматизации и масштабирования исследований. В дополнение к использованию отдельных запросов для устранения неполадок в режиме реального времени, исследователи наблюдали, как хакеры отправляли тысячи повторяющихся запросов, которые рекурсивно анализировали различные CVE и подтверждали уязвимости. Это приводит к появлению более мощного арсенала возможностей эксплойтов, которыми было бы практически невозможно управлять без помощи искусственного интеллекта.

Злоумышленники начали использовать большие языковые модели для интерактивной навигации по системе и принятия решений в режиме реального времени. Наиболее распространенный вариант использования больших языковых моделей злоумышленниками аналогичен тому, который используют обычные пользователи – они проводят исследования и устраняют неполадки. GTIG наблюдала, как различные участники угроз используют этот тип запросов для поддержки исследований, рекогносцировки и устранения неполадок на различных этапах жизненного цикла атаки. Автоматизируя сбор разведывательной информации и поддержку задач, эти взаимодействия снижают барьер для входа в сложные, многоэтапные операции и позволяют участникам угроз сосредоточить свой фокус на стратегических элементах кампаний более высокого порядка.

В более целенаправленных сценариях злоумышленники использовали большие языковые модели для идентификации конкретных аппаратных или программных сред, используемых их жертвами. В одном случае злоумышленник попытался определить точную марку и модель компьютера, и даже запросил у большой языковой модели коллекцию фотографий, на которых изображен человек, использующий это устройство. Такой уровень анализа окружающей среды часто предшествует разработке специализированных эксплойтов или выявлению возможностей для атаки по побочным каналам.

Внедрение больших языковых моделей в производственные среды делает их основной целью для атак. В то время как сами модели остаются весьма устойчивыми к прямой компрометации, уровни оркестровки, включая библиотеки-оболочки с открытым исходным кодом, соединители API и файлы конфигурации навыков, могут быть уязвимы. GTIG отмечает, что злоумышленники все чаще нацеливаются на интегрированные компоненты, которые обеспечивают полезность систем искусственного интеллекта, такие как автономные навыки и сторонние соединители данных.

В исследовании говорится, что участники угроз еще не могут легко обходить основную логику безопасности передовых моделей. Вместо этого эти хакеры используют методы атак на цепочки поставок, такие как внедрение вредоносной логики в популярные библиотеки интеграции или распространение троянских файлов конфигурации, чтобы получить первоначальный доступ к производственным средам искусственного интеллекта. Эти инциденты часто соответствуют рискам, описанным в таксономии Secure AI Framework (SAIF), в частности:

• Небезопасный интегрированный компонент (IIC): Включение скомпрометированных внешних зависимостей, которые подрывают работу системы.
• Несанкционированные действия (RA): Использование систем искусственного интеллекта с повышенными разрешениями для выполнения несанкционированных команд или утечки учетных данных.

Источник: Google