«Цифра» играет против нас

Кто и как сегодня просчитывает риски внедрения цифровых технологий и ИИ? Есть ли механизмы, которые не позволяют этой гонке за цифровизацией превратиться в самоцель или инструмент для освоения бюджетов?

Цифровизация — это продолжение информатизации и компьютеризации, то есть, установки и популяризации компьютеров и ПО. Процесс, в общем, один и тот же, и непонятно, почему он сейчас вызывает такую эйфорию. Сегодня, с одной стороны, в мире надувается пузырь технологий — в частности, ИИ. С другой — у нас в стране есть склонность к кампанейщине. То кукурузу начнем сажать там, где она никогда не росла, то еще что-нибудь. Сейчас у нас кампанейщина — это цифровизация, и всем предписано срочно проводить этот процесс. До СВО вообще не было оглядки на риски. Когда началась СВО, «встали» Госуслуги, отвалился ряд сервисов, начались массовые хакерские атаки, тогда вспомнили про информационную безопасность и какое-то время старались придерживаться требованиям к ней. Атакам удалось в определенной мере противодействовать и цифровизация продолжилась.

Сейчас существуют требования к регионам страны по достижению показателей в цифровизации. Появилась тема ИИ — тут же ставят показатели по его внедрению. Это очень смешной показатель, потому что никто не знает, что такое ИИ. Например, антивирусная программа, которая ловит вирусы — это типичный пример ИИ, но об этом никто, например, не знает. А что такое «показатели внедрения» — вообще непонятно. Люди гибкие, они придумают любые показатели и выдадут их за ИИ. Одни придумывают бессмысленные показатели, другие бессмысленно на это отвечают. Вот так и движемся.

Действительно, глядя на ускоренное внедрение ИИ может сложиться впечатление, что цель — процесс, а не результат. Может ли это являться функцией глобального проекта, который под прикрытием разговоров о прогрессе внедряет технологии управления для последующего проникновения во внутренние процессы? Цели внедрения ИИ вообще осознаются?

Скорость внедрения ИИ действительно феерическая, без оглядки на проверку технологий и риски. Если говорить о генеративном ИИ, то у нас таких два: «Алиса» от Яндекса и GigaChat от Сбербанка. Эти модели, мягко говоря, вторичны. Они основаны на статьях и подходах, сформулированных в американских изданиях. Это копии, последователи. Они не могут обогнать первоисточник. Например, китайский DeepSeek — там сделаны серьезные шаги по улучшению, он менее требователен к ресурсам. У нас ресурсов сильно меньше, мы просто идем вслед, при этом у нас ресурсов сильно меньше. Поэтому внедрять тот же GigaChat можно не для любых применений — у него есть ограничения.

Сейчас отсутствует требование внедрять именно отечественные решения. В итоге внедряют иностранные ChatGPT, DeepSeek — все, что под руку подвернется. При этом надо понимать: ChatGPT — это облачный сервис, сервера которого находятся в США. Когда вы делаете запрос, он улетает туда и фиксируется.

Недавно был скандал с военблогером Рыбарем: OpenAI опубликовала отчет о вредоносном использовании ChatGPT, где ему посвятили отдельную главу. Описывали, какие запросы он давал, как пытался строить кампании против африканских правительств. То ли врут, то ли он действительно он что-то такое делал, но факт в том, что каждый запрос отслеживается. По одному пользователю можно вычислить все, что он делает. Когда кто-то думает, что он анонимен — это абсолютно не так. Система ИИ вычислит его очень быстро.

Многие люди используют ChatGPT, чтобы классифицировать свои документы. Это ужас! Все документы улетают туда в расклассифицированном виде. Есть пример, когда руководитель крупной корпорации решил таким образом разобрать свой почтовый архив. Вся почта, естественно, улетела. Утечка данных — это первый большой риск.

Наши «Алиса» и GigaChat обращаются к иностранным серверам? Они локализованы?

Да, сервера у Яндекса и Сбера российские. Они, конечно, будут видеть все запросы и какие-то из них могут блокировать. 

Какие еще риски есть у ChatGPT и других подобных систем?

Западные системы транслируют искаженный нарратив, где Россия называется агрессором и звучат иные предустановленные тезисы, предустановленная повестка. Правду они не скажут. Это второй большой риск.

Другая проблема — галлюцинации. По зрелому размышлению мы понимаем, что галлюцинации — это сущность самой модели. Генеративный ИИ — это огромный массив информации, гигантская матрица, которая перемешивает слова и выдает наиболее вероятностные цепочки. Она не ищет ответ алгоритмически, а в произвольном порядке выдает вероятности. Если вы задаете сложный запрос, с высокой вероятностью получите бред. Модель не может сказать «я не знаю», она что-то сгенерирует, и вы должны будете это оценить. Но как, если запрос сложный? Какие у вас критерии оценки? Многие над этим не задумываются. Но если генерация текстов — это еще как-то переносимо, то генерация диагнозов — нет. Сейчас во многих медучреждениях используют ИИ для анализа. Это вызывает серьезные опасения, потому что система может выдать болезнь там, где ее нет, и наоборот.

Внедрение ИИ в медицине касается жизни и здоровья людей. Это снижает навыки врачей, делает их менее профессиональными. Под лозунгом экономии денег это может привести к смертельным ошибкам. Как вы оцениваете такие риски?

Риск ошибки — серьезная проблема. Пример: пациент готовился к операции, ИИ нашел отклонения на снимке, врач — нет. В итоге пациента отправляют на дополнительный скрининг: врач не смог проигнорировать предупреждение системы, хотя сам ничего не увидел. Бывает, что люди стремятся снять с себя ответственность, или есть прямые предписания слушать систему. И это ни в какие ворота не лезет.

Пока у нас есть врачи, которые умеют диагностировать сами. Но если они будут постоянно полагаться на систему — этот навык будет утрачен. В одном из западных исследований говорится, что врачи, которые прибегают к автодиагностике, теряют навык за три месяца. Это те, которые умели диагностировать, а новые врачи этому и не научатся, будут использовать ИИ. При этом использование технологий часто идет не для улучшения здоровья, а ради ужесточения контроля, цифровизации ради цифровизации или для экономии денег.

Еще серьезная проблема — импорт оборудования. Своего железа нет. Чтобы внедрить систему контроля, нужно купить железо за границей. А кто будет на закупках? Фирмы-прокладки, которые делают на этом деньги.

1 марта вступило в силу постановление Правительства о создании Единого регистра заболеваний. Расскажите, какие риски создает такая система.

Единый регистр заболеваний — это очень интересная история. Он включает 12 заболеваний и состояний — включая онкологию, сердечно-сосудистые заболевания, опухоли, беременность, психические расстройства. Все граждане с этими состояниями по факту обращения в медицинское учреждение вносятся в единый регистр. Проблема в том, что доступ к нему будет у Минздрава России, медучреждений и, что самое интересное, у МВД России. Но полицейские — не медики, оценить состояние человека они не могут. Или будут всем, кто в регистре, блокировать водительские права?

Здесь усматривается серьезное нарушение прав. Обсуждение проекта не проводилось, общественных слушаний не было. Юристы говорят, что это прямое нарушение закона о врачебной тайне, закона о защите персональных данных и права на тайну частной жизни, которое гарантировано Конституцией.

Данные из всех подобных реестров, которые создавались ранее, утекали. Теперь сверхчувствительная информация собрана в одном месте. В условиях СВО о наших гражданах будут знать все. Мошенники уже похитили у россиян миллиарды рублей, использовав утекшие данные о людях. Теперь они будут знать еще больше.

Цифровизация вводит определенный имущественный ценз: есть интернет и компьютер — получаешь услугу, нет — остаешься вне системы. Не означает ли это, что создается параллельная власть над людьми, которую не видно, никто не выбирает и никто ни перед кем не отвечает?

Апологеты цифровизации говорят о повышении прозрачности и улучшении ситуации. Но цифровизация действительно формирует параллельную структуру цифровой власти. И что интересно: управляют ею не чиновники, которые придумывают цифровые сервисы, а сисадмины — люди, как правило, без погон и не облеченные юридической властью. Например, сисадмин, у которого есть доступ к регистру заболеваний, может, например, исключить себя — и никто не заметит. Другим следствием цифровизации стало распространение мошенников, а коррупция (те же приписки в поликлинниках, например) стала более системной, внедренной в цифровую среду.

Значит ли это, что цифровизация приведет к отчуждению граждан от государства? Если люди общаются с помощью картинки, автоответчика или бота – будет накапливаться отчуждение…

Возьмем современное общение через чат-ботов. Сейчас практически невозможно позвонить в крупное учреждение, чтобы тебе не ответил робот. А с роботом никакого разговора не получается, на большинство вопросов робот ответить не может. Да, это удобный способ отчуждения государства от населения, которое что-то там хочет.

Какие еще глобальные риски может нести для нас цифровизация? Например, израильтяне и американцы не раз демонстрировали, как, подключаясь к системам видеонаблюдения и центрам хранения данных, использовали все это для нанесения ударов, для уничтожения конкретных людей в руководстве Ирана.

По поводу подключения к камерам — это технически возможно. Чем больше цифры, чем больше мы внедряем цифровых технологий в наши стандартные системы, тем больше риск их вредоносного использования. Регулярно проводятся тесты на проникновение, они показывают не очень хорошие результаты. Кроме того, наша инфраструктура в значительной степени иностранная и ее могут просто выключить в случае горячей войны. То есть, проникновение возможно, атаки возможны. Здесь «цифра» играет нам не на руку, а против нас.

А где цифровизация может нам помочь?

Например, в военной сфере. Дроны — это ИИ. В сельском хозяйстве или промышленности внедрение эффективно, экономический эффект виден, в промышленность есть примеры полезного внедрения ИИ. Тогда как в социальной сфере эффект внедрения технологий на базе ИИ вообще непонятно как мерить. Начинают мерить довольством граждан – люди недовольны, но их не слышат, как в случае с тем же регистром. Казалось бы, цифровизация должна обеспечивать все возможности для опроса граждан о том, нужен ли им такой регистр, не возражают ли они против него. Нет, современные технологии используются не для этого, а для тотального наблюдения. Гражданам это не нравится, естественно. 

Блог Натальи Касперской