Безопасность ИИ в корпоративном контуре

Пока ИИ только отвечает на вопросы в чате, вопрос безопасности стоит не так остро. Но как только агент получает инструменты и начинает действовать в ваших системах (читать CRM, менять сделки, отправлять сообщения, выгружать данные в 1С), он становится полноценным участником процессов. А значит, к нему применимы те же требования, что и к любому сотруднику с доступами: понятные права, журнал действий, контроль и возможность вмешаться.

Это не повод бояться и откладывать внедрение. Это повод внедрять аккуратно. Ниже практический чек-лист, который мы используем сами, когда запускаем агента в корпоративный контур. Он рассчитан на реальность малого и среднего бизнеса, без избыточной тяжёлой машинерии, но с закрытием того, что действительно важно.

Доступы: минимум прав по умолчанию

Главный принцип простой: агент получает ровно те права, которые нужны для его задачи, и ни одним больше.

• У агента отдельная учётная запись, а не логин живого сотрудника и не общий ключ на всех.
• Права выданы по принципу «запрещено по умолчанию»: сначала ноль доступов, потом только необходимые.
• Доступ ограничен конкретными действиями, а не системой целиком. Если агенту нужно читать заявки, у него нет прав их удалять или менять чужие сделки.
• Для интеграций используются токены с ограниченной областью и сроком жизни, а не вечные ключи «на всякий случай».
• Есть актуальный список: к каким системам и данным у агента есть доступ и зачем.

Журналы действий: видно, кто, что и когда

Любое действие агента должно оставлять след, который потом можно поднять и разобрать.

• Логируется каждое обращение к данным и каждое действие: что запустило агента, какой инструмент он вызвал, с какими параметрами и чем всё закончилось.
• В записи видно, от чьего имени работал агент и какой сотрудник делегировал ему задачу.
• Фиксируются не только выполненные, но и заблокированные действия (что агент попытался сделать и почему не смог).
• Журналы защищены от изменения задним числом и хранятся достаточный срок.
• Логи можно быстро найти и прочитать, а не только «они где-то пишутся».

Ручное подтверждение: критичные шаги за человеком

Не всё стоит отдавать агенту на полный автомат. Чем выше цена ошибки, тем важнее оставить финальное слово за человеком.

• Определён список действий, которые требуют подтверждения: отправка договора или платежа, массовая рассылка, удаление данных, изменение прав доступа.
• Низкорисковые действия (ответить на типовой вопрос, подготовить черновик) агент выполняет сам, чтобы не топить людей в бесконечных подтверждениях.
• Подтверждение приходит по каналу, который агент не контролирует (сотруднику в мессенджер или по почте), а не «сам себе разрешил».
• Уровень автономности повышается постепенно: сначала агент почти всё показывает человеку, и только по мере доверия часть шагов уходит на автомат.

Контроль качества: замечаем, когда что-то идёт не так

Агент может работать формально «без ошибок», но постепенно начать вести себя странно. Это нужно замечать вовремя.

• Есть понимание нормы: сколько обращений и действий у агента в обычный день, к каким данным он обычно ходит.
• Настроены сигналы на аномалии: агент вдруг читает в разы больше данных, чем обычно, или обращается к тому, к чему раньше не обращался.
• Качество ответов выборочно проверяется людьми, а не считается идеальным по умолчанию.
• У агента есть чёткие границы того, что он делает и о чём отвечает; на выход за границы он честно говорит «не знаю» или передаёт человеку.

Данные: агент видит только то, что положено

Отдельная зона внимания это то, какие данные попадают агенту в работу.

• Доступ к данным фильтруется по правам ещё до того, как они попадут агенту в контекст, а не после.
• Данные разных клиентов и подразделений изолированы, агент одного контура не видит чужой.
• Понятно, что уходит во внешние модели, а что остаётся внутри; чувствительные данные обрабатываются с учётом требований к их хранению.
• Документы и письма из внешних источников не воспринимаются агентом как команды (защита от подмены инструкций через «отравленный» текст).

Реагирование: если что-то пошло не так

На случай сбоя или инцидента должен быть простой и быстрый план.

• Есть «стоп-кран»: агента можно мгновенно остановить, и это действие тоже фиксируется.
• Заранее описано, какие сигналы требуют вмешательства человека и кто за это отвечает.
• При инциденте доступы агента можно быстро отозвать, а не искать по всем системам, где у него были ключи.

Как этим пользоваться

Не обязательно закрывать все пункты в первый день. Но перед тем как пускать агента в реальный контур, стоит честно пройтись по списку и понять, где у вас пусто. Первые четыре блока (доступы, журналы, ручное подтверждение и контроль качества) это разумный минимум даже для небольшого пилота. Остальное подключается по мере того, как агент берёт на себя больше.

Безопасность и контроль это одна из наших услуг не случайно. Мы настраиваем доступы, журналирование, ручное подтверждение критичных действий и мониторинг качества как часть внедрения, а не как то, о чём вспоминают после первого инцидента. Если хотите пройти этот чек-лист применительно к своим процессам, напишите нам, и мы разберём его вместе.