Глобальный цифровой форум: перелом в восприятии ИИ

На днях побывала на площадке глобального цифрового форума, в Парке Горького. Выступила на круглом столе «Кибербезопасность и ИИ: новые вызовы и новые инструменты защиты», куда меня любезно пригласил Дмитрий Миклухо, старший вице-президент — руководитель блока информационной безопасности Банка ПСБ. 

Не буду писать об этом подробно, так как на мероприятии выступали и зарубежные гости из разных африканских стран, и наши соотечественники. Да и тематически мы разделились — представители стран Африки больше говорили об отношении жителей к искусственному интеллекту, а мы — представители института системного программирования РАН и компаний-разработчиков средств защиты информации — о безопасности искусственного интеллекта. Дам лишь основные тезисы, касающиеся нашего разговора.

Угрозы видны давно, но перелом наступил только сейчас

Специалисты начали видеть угрозы, связанные с искусственным интеллектом, давно — мы анализировали их еще три года назад, с появлением генеративного ИИ. Но идея искусственного интеллекта настолько привлекательна, и он такой «живой», что это поразило очень многих людей, в том числе государственных мужей. Отсюда и лозунги: «Давайте внедрять ИИ, давайте будем все делать с ИИ».

Но в этом году произошел перелом. Я вижу его примерно с лета — причем как со стороны США, которые безусловно лидируют в области генеративного ИИ, так и у нас. С большим количеством внедрений стали заметны негативные последствия — по ним накопилась критическая масса.

Спектр угроз шире, чем принято обсуждать

Из того, что обычно не перечисляют или перечисляют редко в качестве угроз, связанных с ИИ, я бы добавила промпт-инъекции, утечки конфиденциальной информации, широкий пласт атак на сам ИИ. А также невольное нарушение законодательства со стороны компаний — потому что ИИ что-то сделал не то. Это и ошибки выдачи неверной или ложной информации, а как следствие — судебные иски.

Характерный пример: компания Air Canada проиграла суд клиенту, потому что чат-бот выдал ему неверную информацию. И таких примеров сейчас множество.

Как защищаться — никто не понимает

Всегда, когда появляется новая проблема, тут же находятся люди, которые говорят, что сейчас же ее решат. Вот так и здесь: в мире появилось множество стартапов, которые заявляют, что умеют решать проблемы, связанные с ИИ, умеют здесь и сейчас. У нас в России, наверное, два десятка таких компаний: кто-то делает анализ ИИ-агентов, кто-то — LLM-файрволы. Кто-то даже делает «LLM-антивирус» — я не смогла понять, что стоит за этим термином.

Также появляются новые классы средств защиты информации, которых раньше не было. Я попыталась погрузиться в эту тему и не смогла понять, что некоторые компании делают. Например, защита от промпт-инъекций. Как они могут от них защитить, если каждый раз все разное?

Очевидно, что мы стоим у порога зарождающегося нового рынка безопасности ИИ. Часть решений не приживется или отомрет, а какая-то часть выйдет во что-то реальное, что будет действительно защищать. Сейчас это пока больше разговоры, но необходимость в таких решениях есть.

Генеративный ИИ невозможно проверить

Подход к ИИ с точки зрения доверенности технологии — правильный, но генеративный ИИ тем и неприятен, что он слишком большой. Его невозможно проверить. В этом смысле доверять ему нельзя. Он большой, он чужой, у него огромные платформы и фреймворки, на них натянуты нейронные сети, под ними плавает большое количество данных, а сверху — большие лингвистические модели, в которых сам черт ногу сломит. Как это все проверять? Совершенно непонятно.

Значит, использование генеративного ИИ будут либо ограничивать, либо разворачивать у себя в локальной инфраструктуре, либо устанавливать наложенные средства безопасности.

Бизнес видит риски, но каждый — свои

На BIS Summit 2026 на пленарной дискуссии «Диалог с бизнесом» на тему «Риски применения ИИ — безопасность и прогресс» мы как раз обсуждали эту тему. У меня было шесть спикеров из разных сегментов, пять из них — банк, нефтяная компания, атомная, ИТ, кибербез. И все спикеры сказали разное — у каждого представителя этих компаний свой взгляд на то, что творится в безопасности ИИ.

Мы только-только прошли осознание рисков безопасности, связанных с ИИ. Что конкретно надо делать дальше, никто толком не понимает. Предстоит структурировать данные, анализировать их, вырабатывать и тестировать концепции защиты. Но сейчас, повторюсь, ситуация с безопасностью в сфере ИИ туманная.

Заседание Общественного совета

В рамках форума также прошло объединенное заседание Общественного совета при Минцифры России и Общественного совета при Россотрудничестве. Я возглавляю комиссию совета при Минцифры РФ по поддержке ИТ-индустрии, развитию отечественных продуктов и обеспечению информационной безопасности с 2024 года.

На заседании я рассказала про экспортный потенциал нашей отрасли. Так, российские решения по информационной безопасности особенно хорошо подходят для небольших стран, которые не хотят попадать в цифровую зависимость от разработчиков ПО и сервисов в США и КНР. Мы предлагаем заказчикам построение собственной технологической платформы и отдаем им технологию «с корнями», обучая их специалистов работе с исходным кодом продукта, анализу и доработкам этого кода, а не просто использованию ПО. Это дает возможность развивать компетенции локальных разработчиков, помогает развивать собственную школу специалистов и обеспечивать высокий уровень доверия к используемым технологиям.