Наталья Касперская выступила с лекцией в Контрольно-счетной палате

Президент ГК InfoWatch и председатель правления Ассоциации разработчиков программных продуктов «Отечественный софт» Наталья Касперская выступила с лекцией для коллегии и руководителей структурных подразделений Контрольно-счетной палаты Москвы. Палата отвечает за формирование и исполнение бюджета города, а также за управлением городской собственностью. Тема лекции — «Искусственный интеллект в госуправлении: риски и последствия».

В выступлении Наталья Касперская провела ликбез по актуальным ИИ-технологиям. Она рассказала, что технологии условно можно разделить на традиционные — алгоритмические, и генеративные — самообучающиеся. Польза применения традиционного ИИ-инструментария доказана на практике — с помощью таких технологий работают, например, системы защиты данных и поисковые системы. Однако польза от набирающих популярность генеративных систем вызывает не только скепсис, но также влечет за собой серьезные риски в плане безопасности. Поэтому применение подобных систем в госуправлении, по убеждению Натальи Касперской, должно быть жестко ограничено.

Во-первых, весь стек российского генеративного ИИ вторичен. Он основан на иностранных разработках — фреймворках, дата-сетах и движках LLM. При этом наиболее популярные модели размещены на облачных ресурсах, также иностранных. Как следствие, все данные, которые получает такой генеративный ИИ, утекают и будут утекать его иностранным разработчикам.

Во-вторых, генеративные модели обучаются на неизвестном наборе данных — это десятки терабайт данных, порой вторичных и некачественных. Они работают как «черный ящик» — результат их работы непредсказуем даже для разработчика, а любой — даже самый бредовый ответ — такая ИИ-модель дает уверенно и даже пытается обосновать.

В-третьих, иностранные модели базируются на ценностях, идеях и политической повестке, свойственной стране-разработчику. Исторические факты искажаются, а в «философию» самой системы закладывается идея превосходства набора принципов страны-разработчика. В некоторых западных ИИ-моделях встречаются деструктивные по отношению к традиционным ценностям концепты и антироссийские нарративы.

В-четвертых, привыкнув к использованию генеративного ИИ, человек попадает в когнитивную ловушку. Теряется критическое мышление и способность концентрировать внимание на одной задаче, появляется риск потери компетенций, сужения кругозора, такой человек в большей степени перекладывает ответственность на нейросеть.

Наталья Касперская привела примеры и обрисовала конкретные риски от использования технологий генеративного ИИ в госуправлении. Среди них — появление бессмысленных законов и нормативно-правовых актов, перегрузка органов госуправления большим объемом сгенерированных текстов, требующих проверки, подрыв доверия к государственным институтам, ущемление прав граждан и открытая дискриминация в вопросах, которые требуют человеческой эмпатии и вовлеченности.

«Искусственный интеллект — полезная технология, способствующая значительному повышению эффективности и продуктивности процессов. Однако генеративный ИИ неточная технология — это вероятностный инструмент, который склонен к ошибкам. Следовательно, использование ИИ недопустимо в качестве единственной технологии в ситуациях повышенной ответственности и для принятия решений относительно людей. К тому же современные системы генеративного ИИ основаны на иностранных технологиях и несут риски утечек конфиденциальной информации», — резюмировала Наталья Касперская.