Выступление на Международном конгрессе государственного управления

Программа мероприятия во многом опиралась на применение новых технологий. Я выступила на сессии «Технологический прорыв как основа для совершенствования регуляторной политики», которую модерировала Светлана Орлова, аудитор Счетной палаты.

Дискуссия на сессии велась вокруг того, как цифровая трансформация и распространение ИИ могут изменить подходы к государственному управлению.

Ниже главные тезисы моего доклада.

Внедрение технологии — это не про достижение результата

У ряда людей во власти есть иллюзия, что новые технологии могут решить множество проблем. Я готова поспорить с таким подходом.

• Во-первых, нельзя решить социальные проблемы путем внедрения технологий. Социальные проблемы — это социальные проблемы, а не технологические. Люди — это люди, и попытка управлять ими при помощи технологий обречена на неудачу, потому что технологии — это всегда ограниченные модели. Это всегда нечто гораздо меньшее, чем человек.
• Во-вторых, мы сейчас находимся на волне хайпа ИИ. Исследовательская компания Gartner отметила тенденцию: когда появляется модная новая технология, все начинают ее обсуждать и ждать от нее чудес, но потом интерес падает, как и ожидания от новинки. Например, недавно был популярен блокчейн — его включили во все государственные программы, а потом не знали, как вычеркнуть. Сейчас у нас на такой волне хайпа искусственный интеллект.

К сожалению, внедрение технологии зачастую подменяет решение задачи. Сначала всегда должен ставиться вопрос: «А зачем нам внедрять новую технологию?» Что мы хотим получить?» Внедрение ради внедрения не даст того результата, который нужен.

Генеративный ИИ — это обманка

ИИ чрезвычайно полезен. Например, для военного применения. Основная гонка будет именно там. Именно по этой причине американцы сейчас начали закрывать свои разработки, а нам выставили обманку — генеративный ИИ, и все на нее клюнули. Обманка блестящая: генеративный ИИ болтает как человек, рисует картинки и создает видео. Все радуются, какой он замечательный, стремятся создать свои аналогичные модели, тратят на это ресурс.

На самом же деле ИИ — вовсе не про картинки и тексты. Это про управление на поле боя. И нам здесь нельзя отстать. То, что мы отстаем в генеративном ИИ — это уже совсем другая проблема, не того масштаба.

Как технологии могут принести вред

В ходе дискуссий на конгрессе было изложено несколько тезисов об умной регуляторной среде. По сути, такой подход — это попытка все контролировать все сверху, до последнего человека. А поскольку мы не можем принимать решение по каждому человеку, надо дать субъектность ИИ — разрешить ему принимать решения. Казалось бы, очень хорошая вещь: ИИ сам примет решение, а мы ничего не делаем, все идет автоматически, все замечательно.

Какие я вижу здесь риски?

Риск первый: черный ящик 

ИИ — это вероятностная технология. Она выдает решение с некоторой вероятностью. Некоторые называют его черным ящиком. Проблема черного ящика состоит в том, что ни разработчик этой технологии, ни пользователь не в состоянии понять, почему машина приняла то или иное решение. Теперь вопрос: хотим ли мы, чтобы этот черный ящик принимал решение о людях? Или мы не хотим этого? И как будет интерпретироваться результат?

Два года назад я участвовала в международном банковском форуме в Сочи. Представитель Минсельхоза России рассказывала, что они сделали систему, основанную на ИИ. И эта система повысила количество инцидентов в 90 000 раз. Не в девять, не в девяносто — в девяносто тысяч раз. Получили миллионы инцидентов. И она говорит: «Вот представляете, мы могли бы автоматически оштрафовать, но не можем, приходится руками обрабатывать эти миллионы инцидентов. Какой ужас!» Но очевидно, что у них машина просто неправильно работает. Не может быть в 90 000 раз увеличение количества инцидентов. И это пример того, что мы можем получить нечто, что не в состоянии будем интерпретировать.

Риск второй: тотальный контроль

Тотальный контроль может нести риск непредсказуемых социальных последствий. На событиях в Непале мы это прекрасным образом наблюдали. Там что-то такое сделали — и нет правительства. Причем в очень короткий срок.

Риск третий: утечки данных и мошенничество

Информационные технологии всегда дополняются рисками — это вирусы, компьютерные атаки, утечки данных, и, конечно, мошенничество. Самый эффективный на сегодняшний день результат внедрения технологий — миллиарды украденных у людей денег. Никогда столько не воровали, а сейчас научились. Почему? Потому что эту возможность дала цифровизация. Мошенники обворовывают нас при помощи цифровизации, потому что знают все о нас. Они звонят вам, называют по имени, знают ваши данные и используют их чрезвычайно эффективно. Любые технологии можно использовать во вред.

Риск четвертый: ползучий переход власти

Есть одна вещь, про которую многие чиновники не думают. Это ползучий переход власти от чиновников, которые дают установку на внедрение новых ИТ-решений, к системным администраторам. Чиновники считают, что айтишники заведомо делают то, что им скажут. Но это, к сожалению, это не так. Управлять миром технологий будут айтишники, а не условные гуманитарии.

Предположим, мы делаем рейтинговую социальную систему. Непосредственно реализуют ее некие айтишники. Как вы думаете, эти айтишники себя в этой системе где поставят? У них какой рейтинг какой будет? Конечно, они и себя поставят в привилегированное положение, своих родных, друзей, и все у них будет хорошо. Чиновник не в состоянии проконтролировать айтишника — у него компетенции не хватит.

Риск пятый: коррупционные возможности

Говорят: «Вот мы сейчас сделаем электронную систему, будет все контролируемо, четко, никакой коррупции». Но я вас уверяю, что коррупционерам будет где развернуться. Например, недавно сделали единый реестр мигрантов — в новостях уже идет скандал: за взятку из этого единого реестра можно себя самоисключить.

Некоторые выводы

1. Не надо обольщаться технологиями. Это не чудо, которое изменит мир навсегда. Технологии — это инструмент. Давайте относиться к ним соответствующим образом.  
2. Нельзя решать социальные проблемы при помощи технологий.
3. При внедрении технологии мы должны начинать с анализа, какую задачу хотим решить и ставить это во главу угла. Сначала определяем задачу — потом подбираем технологии. Это может быть ИИ, а может и не быть.
4. Технологии должны быть российскими. В противном случае мы впадаем в зависимость, из которой не в состоянии вылезти. Например, в Советском Союзе в 1970 годах были свои технологии, была электроника. Но ЦК КПСС принял решение о переходе на единую серию машин — IBM PC. И вот мы с этой платформы не можем слезть до сих пор. Мы, по сути, потеряли электронную промышленность, а строить ее очень дорого и долго.
5. Прежде чем внедрять новые технологии, надо понять с самого начала, как они будут защищены. Перед глазами стоит пример с мошенничеством. В первую очередь технологии должны быть защитой, а не уязвимостью.

Блог Натальи Касперской