Кибербезопасность поставки ИИ в медицине

Рабочая группа по кибербезопасности Координационного совета здравоохранения (HSCC) выпустила руководящий документ по кибербезопасности для организаций здравоохранения по управлению сторонним ИИ и рисками, связанными с цепочками поставок. Риски кибербезопасности растут, так как организации здравоохранения все больше полагаются на сторонние инструменты и сервисы на базе искусственного интеллекта, такие как механизмы обработки естественного языка, встроенные в электронные медицинские карты, и устройства удаленного мониторинга на базе искусственного интеллекта. Эти продукты обеспечивают критически важные функции для организаций здравоохранения, но при этом создают сложные проблемы в области кибербезопасности, с которыми традиционные инструменты и модели управления рисками сталкиваются с трудом.

Сфера применения ИИ в медицине растет, на сегодня она включает в себя:

• Системы поддержки принятия клинических решений (CDS);
• Инструменты диагностики и лечения (радиология, патология и т.д.);
• Прогнозную аналитику результатов лечения пациентов;
• Медицинские устройства с поддержкой искусственного интеллекта;
• Носимые мониторы и приложения с поддержкой искусственного интеллекта для домашнего использования;
• Документирование разговоров пациента и врача в режиме реального времени;
• Планирование и оптимизацию потока пациентов;
• Прогнозирование цепочки поставок, выявление мошенничества и мониторинг соответствия требованиям;
• Управление взаимоотношениями с клиентами (CRM);
• Платформы для анализа состояния здоровья населения;
• Модели исследований и разработок;
• Инструменты интеллектуального анализа данных и распознавания образов;
• Возможности искусственного интеллекта, встроенные в системы электронных медицинских карт;
• Чат-боты и виртуальные помощники;
• Другие возможности.

Отмечается, что ускоренное внедрение в здравоохранении искусственного интеллекта существенно увеличило вызовы в области кибербезопасности, так как традиционный подход к управлению рисками перестал работать полноценно. Серьезные риски исходят из цепочки поставок. Компоненты искусственного интеллекта попадают в медицинские учреждения через многоуровневые цепочки поставок, включая субподрядчиков, оффшорную разработку и активы с открытым исходным кодом. Непрозрачность цепочек поставок ИИ повышает риски и усложняет координацию реагирования на инциденты. Беспрецедентное ускорение изменений инфраструктуры, алгоритмов и моделей искусственного интеллекта приводит к постоянно меняющемуся набору новых рисков и экспоненциально усложняющейся и растущей поверхности для атак.

В качестве лучших практик обеспечения кибербезопасности цепочки поставок ИИ называются:

1. Разработка комплексной политики управления ИИ, охватывающей подотчетность, обработку данных, этические соображения, контроль безопасности и отчетность об инцидентах.
2. Усовершенствование процесса закупок — требования к обоснованию вариантов использования, расширенную оценку рисков и соответствия требованиям в области управления, а также вопросы, связанные с ИИ, касающиеся происхождения данных, устранения ошибок, контроля безопасности и прозрачности.
3. Обеспечение условий контракта, касающихся владения данными, ограничений на обучение ИИ, управления обновлениями продукта, стандартов производительности и положений об ответственности.
4. Инвентаризация и управление активами — Систематические подходы к выявлению существующих систем искусственного интеллекта и создание механизмов постоянного отслеживания всех инструментов, приложений и встроенных возможностей искусственного интеллекта.
5. Обеспечение качества, проверка и валидация — структурированные системы контроля качества для сторонних решений в области искусственного интеллекта, включая требования к документации по тестированию поставщиков, валидации промежуточной среды и к процедурам повторной валидации после обновления.
6. Планирование реагирования и восстановления — Интегрированная координация действий при инцидентах с поставщиками ИИ, требования к отказоустойчивости.
7. Управление по окончании срока службы — процессы управления переходами в систему искусственного интеллекта, миграцией данных и безопасным выводом из эксплуатации.

Для безопасного и эфффективного использования ИИ в медицине рекомендуется ответить на следующие вопросы:

• Обрабатывает ли ИИ-решение персональные данные, и если да, то какой тип ИИ-модели используется (классический ML, генеративный ИИ, LLM)?
• Каков уровень автоматизации и контроля со стороны человека в рабочем процессе ИИ?
• Существуют ли нормативные требования, специфичные для данного приложения ИИ?
• Какой уровень прозрачности или объяснимости модели требуется для данного варианта использования, исходя из клинических последствий, нормативных требований и/или организационного руководства?
• Где обучаются модели ИИ? (Публично (например, OpenAI, Anthropic) или в частном порядке (например, внутренние высокопроизводительные вычислительные платформы/базовые модели).
• Где размещаются данные? (общедоступное облако, инфраструктура поставщика, внутренняя система/локальная сеть и т.д.).
• Какие существуют средства контроля для обеспечения защиты данных, целостности модели и соответствия нормативным требованиям?

В документе говорится, что непрерывный жизненный цикл управления рисками цепочки поставок в области искусственного интеллекта состоит из семи взаимосвязанных этапов:

• Этап 0 — Обоснование варианта использования ИИ и стратегическая оценка: Определение проблемы, подтверждение пригодности ИИ, классификация варианта использования по влиянию на безопасность (низкое, среднее, высокое или критическое) и установление подотчетности для обеспечения стратегического согласования и понимания профиля рисков.
• Этап 1 — Комплексная проверка и оценка поставщика: Расширение стандартной оценки поставщика (финансовая, кибербезопасность) с оценками управления, рисков и соответствия требованиям с учетом специфики ИИ. Ключевые области включают в себя происхождение данных, прозрачность/объяснимость моделей, средства контроля безопасности, зависимости от цепочки поставок и этические нормы. Строгость оценки должна основываться на классификации рисков, начиная с этапа 0, а поставщики должны предоставлять документацию по обеспечению качества, верификации и валидации.
• Этап 2 — Согласование контрактов и правовая защита: Стандартных соглашений для ИИ недостаточно. На этом этапе устанавливается общая ответственность с помощью положений контракта, специфичных для ИИ, которые охватывают владение данными, ограничения на обучение, одобрение изменений, обязательства по выполнению работ, реагирование на инциденты и поддержку по окончании срока службы. Расширенные положения Соглашения о сотрудничестве с бизнесом учитывают уникальные риски, связанные с обработкой защищенных данных.
• Этап 3 — Внедрение, интеграция и обучение: Охватывает переход с наибольшим риском. Необходимо обеспечить проведение моделирования угроз, специфичных для ИИ, строгую песочницу/клиническую практику.
• Этап 4 — Постоянный мониторинг и управление производительностью: Это самый длительный этап, требующий постоянного внимания к отклонениям в модели, смещениям, снижению производительности и целостности системы безопасности, особенно после обновления от поставщика. Он включает в себя аудит безопасности/соответствия требованиям, проверку исправлений и периодическую переоценку. Контроль качества и повторная валидация необходимы после каждого изменения системы.
• Этап 5 — Реагирование на инциденты и восстановление: Подготовка к неизбежным инцидентам с искусственным интеллектом (деградация модели, нарушения, случаи смещения). Разработка протоколов обнаружения, классификации, локализации, координации действий поставщиков, повторной проверки модели и корректирующих действий после инцидента. Инциденты с искусственным интеллектом происходят постепенно, и их трудно обнаружить, что требует специальной экспертизы и опыта поставщиков.
• Этап 6 — Управление завершением срока службы и переходным периодом — предусматривает плановое и внеплановое прекращение использования ИИ. Упреждающее планирование обеспечивает непрерывность обслуживания, безопасное удаление данных и соблюдение нормативных требований, а также решение уникальных задач, таких как внедрение организационных данных и повторная проверка системы.

Руководство предоставляет риск-менеджерам, командам по соблюдению требований и специалистам по закупкам масштабируемые инструменты для выявления и управления рисками, связанными с ИИ, такими как скрытые зависимости и каскадные точки сбоя, а также для устранения растущих пробелов в процессах обнаружения и раскрытия информации, которые делают управление рисками цепочки поставок ИИ настолько сложным. HSCC рекомендует организациям здравоохранения распространить это руководство среди старших бизнес-руководителей и технических специалистов и их команд, рекомендуя им включить в руководство лучшие практики и сравнить свои собственные методы управления рисками сторонних организаций и цепочки поставок с лучшими практиками, изложенными в документе. В дополнение к руководству HSCC опубликовала справочный документ living AI Cyber Glossary для создания согласованных определений терминологии искусственного интеллекта для сектора здравоохранения.

Источник: The Health Sector Coordinating Council (HSCC) Cybersecurity Working Group