Безопасный ИИ в компаниях: где возникают риски и как их контролировать

Во многих компаниях нейросети начинают использовать раньше, чем появляются официальные правила. Сотрудники находят удобные инструменты и применяют их в работе — через чат-системы, Телеграм-боты или сторонние сервисы с языковыми моделями.

Для компании это означает потерю контроля. Часто организация не понимает
➔ Какие сервисы используют сотрудники
➔ Какие данные туда отправляются
➔ Где происходит обработка информации

Через такие инструменты могут передаваться внутренние документы, исходный код, финансовые данные или персональная информация клиентов.
Масштаб подобных практик быстро растет. По данным исследований конца 2025 года, объем данных, которые сотрудники российских компаний отправляют в зарубежные сервисы вроде ChatGPT и Gemini, увеличился примерно в 30 раз за год.

Любой запрос к языковой модели разбивается на токены — единицы обработки текста. Именно за них компании платят при работе с API (Программный интерфейс приложения) и облачными сервисами.
Для сотрудника это выглядит как обычный диалог с чат-системой, но для компании каждый запрос превращается в расход.

Проблемы чаще всего возникают в двух ситуациях

• Сотрудники используют модели для личных задач
• Сотрудники не умеют эффективно формулировать запросы

В результате расходы могут расти незаметно, особенно если использование ИИ не контролируется.

Если организация начинает внедрять ИИ или уже использует его фрагментарно, есть несколько базовых шагов.

Языковая модель не знает правильный ответ заранее. Она формирует его на основе вероятностей — выбирает наиболее вероятное продолжение текста на основе обучающих данных.

Поэтому система может выдавать убедительный ответ, который при этом окажется неверным. Для пользователя он выглядит логичным, хотя фактически модель просто собрала наиболее вероятную формулировку.

Поэтому результаты работы моделей требуют проверки, особенно если речь идет о документах, аналитике или управленческих решениях.

С распространением генеративного ИИ появились и новые угрозы.

Одна из самых известных — промт-инъекция, когда пользователь пытается заставить систему игнорировать инструкции и выдать внутренние данные.

Другой риск — отравление данных. Если в базу знаний попадает ошибочный или специально подготовленный документ, модель начинает формировать неверные ответы.

Исследования показывают, что даже 0,01% искаженных данных может заметно изменить поведение системы. Поэтому качество источников и контроль базы знаний становятся критически важными.

ИИ-системы работают с данными, внутренними сервисами и бизнес-процессами компании. Поэтому их безопасность рассматривается так же, как безопасность любой другой цифровой системы.

Отдельное внимание требуется при внедрении агентских систем. В отличие от ассистентов, которые отвечают на запросы, агенты могут выполнять последовательность действий: искать информацию, анализировать данные, запускать процессы и формировать результат.

На ранних этапах такие решения часто запускают в ограниченной среде — с минимальными правами доступа и обязательным журналированием операций. Это позволяет протестировать сценарии и понять, как система ведет себя в реальных задачах.

Использование отечественных моделей или разворачивание системы внутри компании часто воспринимается как решение вопроса безопасности. На практике это лишь один из элементов архитектуры.

Многие решения, которые считаются полностью российскими, на самом деле дообучены на базе моделей с открытым исходным кодом. Кроме того, если сервис работает через внешнего провайдера, данные могут обрабатываться третьей стороной — даже если инфраструктура находится в России.

Разворачивание модели внутри компании действительно снижает часть рисков, особенно при работе с внутренними документами и персональными данными. Но оно не устраняет другие источники уязвимостей.

При этом вокруг закрытых решений существуют распространенные заблуждения

• Модель внутри компании автоматически безопасна
• Данные внутри контура невозможно извлечь
• Закрытый контур исключает человеческий фактор
• Отечественные модели защищены лучше зарубежных

На практике компании редко используют один тип решений. Обычно формируется несколько контуров работы с ИИ -в зависимости от задач и типа данных.

Чаще всего используются три сценария

1. Внутренние платформы, развернутые в инфраструктуре компании -для работы с чувствительными данными
2. Корпоративные ИИ-платформы от технологических провайдеров
3. Витрины моделей и агрегаторы, которые дают доступ сразу к нескольким моделям

При этом при выборе решений обычно оценивают несколько факторов

• Где обрабатываются данные
• Насколько прозрачна архитектура модели
• Есть ли механизмы фильтрации запросов
• Доступны ли аудит и логирование
• Можно ли дообучать модель под задачи компании

Каждый вариант дает разный баланс между безопасностью, стоимостью и скоростью внедрения.

Отдельного закона об искусственном интеллекте в России пока нет. Но это не означает, что использование таких технологий никак не регулируется.

На практике компании уже ориентируются на существующие нормы. В первую очередь это
➔ Законодательство о персональных данных
➔ Требования информационной безопасности
➔ Нормы авторского права

Именно через эти правила сегодня рассматриваются многие вопросы, связанные с использованием нейросетей.

Параллельно обсуждается и отдельное регулирование ИИ. В будущих правилах могут появиться категории систем — например, суверенный, национальный и высокорисковый ИИ. Кроме того, обсуждается маркировка контента, созданного с помощью нейросетей: новостей, рекламы, образовательных материалов и других типов информации.

Пока эти нормы только формируются, поэтому компаниям приходится ориентироваться прежде всего на действующее законодательство и внутренние правила работы с данными.

Работа с персональными данными – одна из самых чувствительных тем при использовании ИИ.

Если нейросети применяются для анализа клиентских данных, обработки анкет сотрудников или других подобных задач, такие сценарии требуют особенно строгого контроля. Передача персональных данных во внешние сервисы может привести к серьезным последствиям – от крупных штрафов до уголовной ответственности.

Подобные ситуации могут возникать довольно незаметно. Например

• Специалист по управлению персоналом загружает в нейросеть резюме кандидатов для анализа
• Маркетинг передает в сервис клиентскую базу для сегментации
• Сотрудники отправляют фрагменты переписки или документов, чтобы сформулировать ответ клиенту

Во всех таких случаях персональные данные фактически передаются во внешнюю систему.

По мере распространения ИИ многие компании начинают формировать внутренние правила его использования. Такие политики помогают перейти от стихийного применения инструментов к более управляемой системе.

Обычно в них фиксируют несколько ключевых вещей

1. В каких задачах допустимо использовать ИИ
2. Какие данные можно передавать в такие системы
3. Список разрешенных сервисов
4. Процедуры согласования новых инструментов
5. Требования к обучению сотрудников

Практика показывает, что одних правил недостаточно. Чтобы они работали, сотрудники должны понимать, как устроены такие системы и какие ограничения у них есть.

Поэтому обучение обычно строится на нескольких уровнях

Использование ИИ постепенно становится обычной частью рабочих процессов. Вместе с этим появляются новые вопросы — где обрабатываются данные, какие сервисы используют сотрудники, как контролировать работу моделей и какие правила должны действовать внутри компании.

Практика показывает, что без понятных регламентов и архитектуры решений такие инструменты начинают использоваться стихийно. В этом случае риски быстро накапливаются — от утечек данных до ошибок в работе систем.

Поэтому компаниям важно заранее выстраивать правила работы с ИИ: определять допустимые сценарии использования, контролировать данные, обучать сотрудников и включать такие решения в общий контур информационной безопасности.

Тогда ИИ становится рабочим инструментом, который помогает быстрее обрабатывать информацию и поддерживает управленческие решения.

Проводим программы для руководителей, топ-менеджмента, профильных подразделений и всех сотрудников — от экспресс-интенсивов до модульных школ работы с нейросетями.

В 2026 году стартовал новый сезон встреч в рамках сериала «Лидерство, управление, цифра». Вместе с экспертами обсуждаем практические решения для лидеров: как управлять командами, внедрять технологии и строить бизнес в условиях перемен. Следите за обновлениями.