«Деньги любят техно»
Во второй части подкаста «Деньги любят техно» поговорили с Денисом Суржко из ВТБ о рисках и позитивных сторонах ИИ, об опасностях использования генеративных моделей, о скептичном отношении к любым новым технологиям, о России и Китае.
Считаете ли вы искусственный интеллект ключевой технологией в сфере информационной безопасности или есть более значимые направления, где ИИ выступает лишь вспомогательным инструментом? Нам надо определиться, что такое.
В широком смысле ИИ — это любая программа, имитирующая когнитивные функции человека. С этой точки зрения классический антивирус или систему защиты от утечек уже можно считать ИИ. В более узком смысле под ИИ понимают системы глубокого машинного обучения, которые способны самообучаться. В информационной безопасности их и применяют, но говорить о доминировании ИИ я бы не стала.
Он, безусловно, делает некие вещи проще — быстрый анализ огромных массивов данных и поиск скрытых корреляций, анализ кода и поиск уязвимостей. ИИ может давать подсказки специалистам. Например, наша система «Младший аналитик» — ИИ, обученный на загруженной документации. Мы называем его «Младший аналитик» так как предполагаем, что старший аналитик — это информационный безопасник. Может такая система лажать? Да, может. Любая система машинного обучения вероятностная. Но это не критично — специалист всегда может перепроверить результат.
Сейчас многие ищут применение ИИ в информационной безопасности просто потому, что это модная технология. Мы тоже экспериментировали с ИИ внутри компании, но пока отказались от некоторых идей.
Есть сферы, где ИИ уже эффективно работает — прежде всего машинное обучение, — но во многих областях его применение пока носит экспериментальный характер.
Как вы оцениваете риски, возникающие из за того, что ИИ становится посредником между первичными данными и человеком, который принимает решения — например, когда он составляет протоколы встреч или обобщает информацию? Можно ли вообще формализовать и описать такие «квазигуманитарные» угрозы?
Искусственный интеллект создаёт новые риски — особенно когда становится посредником между человеком и информацией. Например, составление протоколов встреч. Но насколько точно он передаёт суть? Строгий ответ — неизвестно. То есть, он может соответствовать на 100%, но может и на 20%.
Проблема в том, что ИИ работает по вероятностному принципу: он генерирует текст в произвольном порядке, создавая иллюзию человеческого общения. Люди привыкают к этому — и постепенно теряют навык критического мышления. Школьники перестают пользоваться учебниками, студенты пишут хорошие текстовые работы через ИИ, но не могут ответить на вопросы на экзамене. Это большой гуманитарный риск. Получается замкнутый круг: чем чаще мы полагаемся на ИИ, тем слабее становятся наши собственные когнитивные способности — память, умение анализировать, принимать решения.
Возникает и другой вопрос: кто будет отвечать, если ИИ примет ошибочное решение? Особенно когда используются иностранные модели.
При этом все спешат внедрять ИИ, иначе мы проиграем в гонке. Вот в какой именно гонке мы проиграем? Я понимаю, когда ИИ применяют, например, для управления дронами на поле боя — там его задачи ясны. А вот для чего нам бредогенератор? Чтобы что? Чего мы добьёмся? Я не знаю.
Также есть серьёзный риск утечки информации: люди загружают в нейросети личные данные — скажем, всю свою почту. При этом они не задумываются, что загруженные сведения могут оказаться в открытом доступе.
Мы сидим и думаем, как защититься от таких угроз, какие-то возможности перехвата придумали. Но появляются новые сценарии риски информационной безопасности, которые человечество ещё даже не осознало.
Но ведь есть и позитивные стороны использования ИИ.
Давайте отделять мух от котлет. Искусственный интеллект полезен там, где его применяют правильно. Например, в сфере безопасности, в ОПК, в сельском хозяйстве, в промышленности — например, для поиска утечек газа, анализа давления на металл и других задач с большим объёмом данных от датчиков.
И поэтому ИИ-модели могут заменять специалистов некоторых профессий, например, журналистов.
И поэтому мы читаем одинаковый шлак во всех СМИ. Вот читаешь такой текст — и не можешь вникнуть в смысл, взгляд «соскальзывает». То же самое с искусством и с музыкой. Мы не заплачем, когда ИИ будет нам что-то играть.
Можно ли считать генеративные модели инструментом для коллаборации и разгрузки человека, если их точность сопоставима с человеческой? Ведь люди тоже допускают ошибки, а врачи, например, используют алгоритмизированные протоколы лечения.
Стандартный аргумент любителей искусственного интеллекта. Разница в том, что в случае человеческой ошибки всегда есть конкретный виновный, а с ИИ предъявить претензии некому: он просто выдаёт результат.
В сферах, где есть несколько этапов проверки, ошибки ИИ не столь критичны. Но там, где контроля недостаточно, возникают серьёзные проблемы. Например, с беспилотными автомобилями: технологии уже существуют, но их не запускают массово из за несчастных случаев — никто не может решить, кто будет нести ответственность за аварии. Разработчик не в силах отвечать за решения машины. А вот в беспилотные поезда я, кстати, верю, потому что там рельсы — одна степень свободы.
Ещё одна опасность — утрата людьми профессиональных навыков из за привыкания к помощи ИИ. С врачами недавно я читала статью, что квалификация врачей очень резко падает если, они начинают использовать подсказки ИИ.
Если деградация знаний заметна уже на промежутке трех месяцев, что что произойдет на протяжении нескольких лет? ИИ будет обучаться на растущем массиве неверных данных и начнёт лажать, но уже не будет людей, которые поймут, почему он лажает. А дальше мы, я боюсь, окажемся в антиутопии, когда останутся роботы, а мы не будем понимать, как эти роботы работают.
Не кажется ли вам, что искусственный интеллект — это не угроза, а возможность, подобно тому, как современные спортивные достижения превосходят прошлые благодаря прогрессу и высоким стандартам отбора?
Сегодня много говорят о роботах и ИИ, но реальность оказывается проще: тяжёлый физический труд по прежнему востребован. Конечно, на заводах многое уже роботизировано. Но стоит выйти за их пределы — и сразу видно, как много работы по прежнему выполняется вручную. На стройках и в сельском хозяйстве работают люди, а не машины — потому что роботы слишком дороги и экономически невыгодны.
При этом ИИ вытесняет «средних» специалистов в творческих и интеллектуальных профессиях — например, рядовых журналистов или юристов. А какой-нибудь классный юрист, высококлассный журналист или шикарный писатель — даже более востребованы сейчас, чем раньше.
И получается расслоение. С одной стороны, остро не хватает работников рабочих специальностей — слесарей, строителей и других. Зарплаты в этих сферах растут, но найти кадры по прежнему сложно. С другой стороны, огромная прослойка «середнячков» в интеллектуальных профессиях постепенно теряет работу из за автоматизации. Это серьёзная социальная проблема: непонятно, куда двигаться людям из этой «средней» группы. Возможно, стоит задуматься об ограничении применения ИИ, чтобы не усугублять расслоение общества.
Как простому человеку в этой ситуации себя защитить от ИИ, пока никто не ограничивал его? Есть ли у вас какие-то рецепты?
Я считаю, что к новым технологиям стоит относиться со скепсисом. Когда появляется новая большая технология, она всегда вызывает вау-эффект и веру в то, что теперь всё кардинально изменится. Но потом оказывается, что это не так.
Например, генеративный ИИ и LLM модели год назад были на пике популярности, а сейчас их качество вызывает вопросы. Проблема в том, что в модели попадает много сгенерированного текста и они постепенно глупеют.
Для собственного развития важно ограничивать использование цифровых технологий — особенно для детей. Лучше меньше смартфонов, больше чтения книг, больше самостоятельного мышления.
Возьмём, к примеру, составление протоколов. В советское время фактически главную должность в стране занимал генеральный секретарь ЦК КПСС — это на самом деле должность такая, которая записывает протокол. Почему? Да потому что на самом деле самое важное — это как раз экстракт того, что люди нарешали. Поэтому передавать это ИИ как минимум, неправильно.
Готовых рецептов что надо делать у меня нет. Слишком быстро навалилась эта волна технологий, как цунами, слишком большой вал, слишком много инсинуаций и много неизведанного. Это безусловный вызов для человека.
С вашей точки зрения, представляет ли Китай для российского ИТ-рынка такую же конкурентную угрозу, какую представлял Запад 20 лет назад? Являются ли Китай полноценным технологическим полюсом? Есть ли у Китая что-то, чему можно поучиться нам?
У Китая есть чему поучиться: страна быстро стала технологической державой, высосав всю интеллектуальную собственность из всего мира — в том числе часть советских технологий, которые мы могли уже утратить. С другой стороны, китайцы имитаторы — бывает сложно понять, где реальные достижения, а где имитация.
С оборудованием Китай действительно лидирует. Например, их серверы и маршрутизаторы сейчас одни из лучших в мире — по качеству они обошли даже Cisco. Именно поэтому Huawei запретили в США: компания выигрывала конкуренцию по соотношению цены и качества.
Но с процессорами Китай пока мучается — они пытаются создать собственный литограф. Это важно, ведь сейчас такой аппарат есть только в Голландии, и все страны от неё зависят. Если китайцы добьются успеха, это изменит ситуацию на рынке.
В сфере программного обеспечения успехи Китая неоднозначны. С одной стороны, они создали неплохую и более дешёвую модель ИИ — видно, что вложили в это серьёзные ресурсы. С другой — их системы защиты от утечек данных примитивны, хотя тоже основаны на ИИ.
Поэтому мы пытаемся выйти на китайский рынок. Но тут возникает вопрос: как продавать наши технологии в Китай или через Китай, но при этом защитить их от копирования? Я пока не очень понимаю.
Вы знаете и западный рынок, и китайские технологии, и погружены в российскую специфику. Что является нашим конкурентным преимуществом и сильной стороной? На чём мы можем сосредоточиться так, чтобы свой потенциал раскрыть?
Наше преимущество — это умение находить нестандартные решения. У нас было качественное математическое образование и есть природное свойство русского человека придумывать хитрости. Но если начнём повсеместно использовать ИИ, то мы это свойство потеряем, потому что ИИ не умеет находить нестандартные решения.
Однако мы не умеем свои умения продвигать. Огромное количество сделанных у нас исследований, потом оказались запатентованы где-то в мире и это очень обидно. Нам нужно побольше наглости в продвижении и в быстром патентовании своих решений, что позволит зафиксировать российские достижения в мире.