ЦИПР-2026: ИИ без иллюзий: технологии для реального сектора
Выступала на ЦИПР-2026 в сессии «ИИ без иллюзий. Технологии для реального сектора». Модератор — Рената Абдулина, заместитель генерального директора АО «РоКИТ» и председатель Ассоциации КП ПОО. Говорили про промышленный ИИ и риски, которые многие пока недооценивают.
Сейчас государство дает ориентир на повсеместное внедрение технологий на базе ИИ. По данным аналитического агентства Gartner, ИИ в России сейчас находится на пике хайпа — про его повсеместное внедрение все время говорят с высоких трибун. Создается чрезмерное доверие — люди начинают доверять ИИ больше, чем другим технологиям. Я считаю, что принимать решения касательно внедрения технологии, когда она на хайпе — вообще неправильно. Давайте разберемся почему.
Проблематика ИИ в реальном секторе
Большинство генеративных моделей, которые существуют в нашей стране — иностранного производства. Своих — две, и выбирать, в общем, не из чего. Сейчас в проработке находится закон, в котором обозначены «национальные модели» и «суверенные модели». Попыталась понять разницу. Если коротко: суверенный генеративный ИИ — это GigaChat от «Сбера», а национальный — это «Алиса» от Яндекса. У каждой из этих моделей свой фокус, они не обязательно подходят для промышленности и реального сектора, поэтому для своих применений компании выбирают что-то другое. А другое — значит, иностранное.
При использовании компаниями иностранных моделей можно выделить четыре основных риска:
- Первый — утечки информации. Если мы берем ИИ-модель, не перенося ее к себе в периметр, получаем первый риск — это утечка информации. ИИ получает массу информации о компании, которую пользователи в нее загружают. Пример: промышленное предприятие загрузило для анализа, например, свои технологические тонкости и секреты производства. Другое предприятие, создав хитрый промпт, вытащило эти секреты. Поняв, что кто-то воспользовался моделью, можно вытащить оттуда все, что в нее попало. И использовать в своих интересах.
- Второй — скомпрометированная информация. По запросам к ИИ можно понять, что за предприятие их делает. На той стороне есть акторы, которые за этим следят. Наша страна сейчас в фокусе атак, зачастую этот процесс автоматизирован. По запросам вычисляется российское предприятие, и ему в ответах подсовывается скомпрометированная информация. Будет казаться, что это правильный ответ, а на самом деле — специально сгенерированная ложь. Как отличить ложь от нелжи — непонятно.
- Третий — ИИ-галлюцинации. Генеративные модели — это вероятностная технология, которая порой галлюцинирует. При этом галлюцинации бывают очень странные. Доверять ИИ на 100% нельзя.
- Четвертый — неконтролируемое использование сотрудниками, так называемый теневой ИИ. Помимо самого предприятия, доступы в разные ИИ-модели покупают сотрудники. Даже если предприятие ограничило доступ или развернуло модель у себя во внутреннем облаке, сотрудники вокруг создают поле, в которое информация попадает (и может быть использована) неконтролируемым образом. Даже если сотрудники хотят использовать ИИ из лучших побуждений — например, для роста своей эффективности, это все равно может приводить к утечкам данных.
Приведу пример касающейся своей компании — InfoWatch. Когда мы озаботились применением ИИ в разработке, провели опрос разработчиков — что они используют? Ответило порядка 150 человек. Мы получили очень широкий спектр ответов и узнали про модели, о которых даже не знали. Большинство компаний же не спрашивают и не знают, куда ходят сотрудники, что у себя используют. Запретить им со своего личного компьютера использовать ИИ-модель невозможно.
Хорошая новость: когда мы спросили, если мы предоставим внутреннее облако — 95% опрошенных ответили, что переключатся на него. Мы сейчас проводим эксперимент — выбрали три модели, ограничили их, контролируем. К генеративному ИИ мы подходим очень осторожно.
Нужен ли контроль со стороны государства?
Естественным образом разговор на сессии затронул тему государственного регулирования. Раз ИИ несет такие большие риски для реального сектора, что может сделать государство, чтобы эти риски обуздать?
Сегодня в России ведется очень большая дискуссия по теме регулирования. Я лично участвую в разработке нормативной базы. Мое мнение таково: регулировать саму технологию неправильно, надо дать ей свободно развиваться.
Регулятивные ограничения должны быть созданы для двух сфер:
- Первая — КИИ. Там нужно ограничивать применения ИИ-технологий, проводить скрупулезную оценку рисков.
- Вторая — все сферы, связанные с людьми. Это законотворчество, юридическая работа, и, конечно, образование. ИИ в образовании — это большая проблема, нельзя скатиться в полную профанацию, но эта тема для отдельной дискуссии.
В общем, ограничивать следует конкретные применения в конкретных сферах, исходя из тех рисков, которые ИИ там несет.
Некоторые итоги
Конечно, ИИ дает определенные преимущества — особенно в скорости. Но эта технология несет и существенные риски. И самое страшное — они пока не проработаны. Про риски ИИ и про то, как их предотвращать, начали говорить только в этом году. Генеративные модели у всех на слуху с 2023 года. А про риски заговорили только сейчас, до того умалчивали. И способов минимизации этих рисков практически нет, они только-только начинают появляться.