ИИ в закрытом контуре: что это и когда он нужен компании

Как устроен ИИ, который работает внутри инфраструктуры компании: варианты архитектуры, компоненты, доступы и журнал. Когда закрытый контур необходим, а когда избыточен.

ИИ в закрытом контуре: что это и когда он нужен компании

В большинстве компаний ИИ уже используется — просто не официально. Менеджер вставляет в публичный чат текст договора, чтобы получить краткое содержание. Бухгалтер загружает выгрузку из 1С, чтобы найти расхождения. Руководитель отдела просит переписать письмо клиенту, в котором есть цены и условия скидок. Каждый из них экономит полчаса. И каждый передаёт данные компании во внешний сервис, условия обработки данных в котором никто в компании не проверял.

Запрет обычно не помогает: инструмент удобный, и сотрудники продолжают им пользоваться с личных устройств. Рабочий ответ — дать такой же инструмент, но внутри компании. Это и есть ИИ в закрытом контуре. Разберём, как он устроен, когда действительно нужен и когда без него можно обойтись.

Что такое закрытый контур простыми словами

Закрытый контур — это архитектура, при которой языковая модель и все данные, с которыми она работает, находятся внутри инфраструктуры компании или в выделенной для неё среде. Документы, переписка, клиентская база, финансы и договоры не передаются публичным AI-сервисам.

Для бизнеса это означает одну простую вещь: ваши данные остаются внутри компании. Запрос сотрудника, документ, который он анализирует, и ответ системы обрабатываются на серверах, которые контролирует компания, и фиксируются в журнале, к которому есть доступ у вашей службы безопасности.

Технически в контур входит не только модель. Это набор компонентов: модель, поиск по корпоративным документам, коннекторы к рабочим системам, авторизация, разграничение доступа и журнал действий. Безопасность определяется всей конструкцией, а не только тем, где стоит сервер.

Чем закрытый контур отличается от публичного AI-сервиса

Публичные сервисы — сильные и удобные инструменты. Для многих задач они подходят отлично. Разница не в «лучше или хуже», а в том, кто контролирует данные и процесс.

Параметр Публичный AI-сервис ИИ в закрытом контуре
Где обрабатываются данные На серверах провайдера, часто за пределами страны В инфраструктуре компании или в выделенном частном облаке
Кто управляет моделью Провайдер; версия может меняться без предупреждения Компания; версия обновляется по решению и после проверки
Доступ к внутренним документам Только то, что сотрудник вручную загрузил Подключение к базам документов, 1С, CRM с учётом прав
Разграничение прав На уровне аккаунта сотрудника По ролям и правам исходных систем
Журнал запросов Ограниченный или недоступен компании Полный, хранится у компании
Стоимость Подписка или оплата за запросы, растёт с объёмом В основном фиксированная: инфраструктура и поддержка
Качество на сложных задачах Как правило, выше на сложных рассуждениях Достаточное для узких задач: классификация, извлечение данных, поиск, черновики

Последняя строка важна. Открытые модели, которые можно развернуть внутри компании, на сложных многошаговых рассуждениях обычно уступают крупнейшим публичным моделям. Но большинство бизнес-задач — не олимпиадные. Разобрать счёт, найти пункт в регламенте, заполнить карточку по расшифровке звонка, сравнить договор с чек-листом — с этим современные открытые модели справляются стабильно, особенно если задача правильно поставлена и сужена.

Варианты архитектуры

On-premise: на серверах компании

Модели и все компоненты работают на собственном оборудовании в вашем серверном помещении или дата-центре. Максимальный контроль: данные физически не покидают периметр.

  • Плюсы: полный контроль, отсутствие внешних зависимостей, предсказуемые расходы после закупки оборудования.
  • Минусы: нужны серверы с GPU и компетенции для их обслуживания; закупка оборудования может занять время.
  • Когда выбирают: строгие требования ИБ, большой объём обработки, уже есть собственная серверная инфраструктура.

Private cloud: выделенная среда у облачного провайдера

Модели работают на выделенных ресурсах в облаке — как правило, у российского провайдера с нужными сертификатами. Ресурсы не делятся с другими клиентами, доступ контролирует компания.

  • Плюсы: не нужно закупать оборудование, быстрый старт, легко масштабировать мощность.
  • Минусы: ежемесячная аренда; данные находятся у провайдера, хотя и в изолированной среде.
  • Когда выбирают: нет своей серверной инфраструктуры с GPU, нужен быстрый пилот, нагрузка непостоянная.

Гибридная схема

Чувствительные данные обрабатываются внутри контура. Для отдельных задач без конфиденциальной информации — например, для подготовки маркетинговых текстов — используются внешние модели. Иногда запросы перед отправкой наружу обезличиваются: из текста удаляются имена, реквизиты, суммы.

  • Плюсы: баланс между качеством и контролем.
  • Минусы: требует чётких правил маршрутизации и контроля, что именно уходит наружу. Ошибка в правилах обнуляет смысл контура.

Из чего состоит система

Типовая архитектура ИИ в закрытом контуре включает:

  1. Языковую модель (LLM) — открытую модель, развёрнутую на ваших серверах. Её подбирают под задачи: для поиска и ответов по документам достаточно модели среднего размера, для сложного анализа нужна более крупная.
  2. Поиск по документам — механизм, который находит в корпоративных документах фрагменты, относящиеся к вопросу, и передаёт их модели. Технически это называется RAG (поиск с генерацией ответа); подробнее — на странице о базе знаний с ИИ.
  3. Коннекторы к системам — 1С, CRM, почта, файловые хранилища, порталы. Через них система получает данные и, если это разрешено, выполняет действия.
  4. Авторизацию — вход через корпоративную учётную запись (Active Directory, LDAP, SSO). Отдельных паролей для ИИ нет.
  5. Разграничение доступа — сотрудник через ИИ видит только то, что может видеть и без него. Если у менеджера нет доступа к папке с договорами, система не покажет ему их содержание.
  6. Журнал — кто, когда, что спросил, какие документы использовались в ответе, какие действия выполнены.
  7. Контроль действий агентов — если система не только отвечает, но и что-то делает (создаёт документы, меняет статусы), у каждого действия есть уровень полномочий: выполнить автоматически, подготовить для сотрудника или выполнить только после подтверждения.

Когда закрытый контур нужен

Признаки, что обрабатывать данные во внешних сервисах нельзя или нежелательно:

  • в документах есть персональные данные клиентов, сотрудников, пациентов (в клиниках — только административные процессы: запись, напоминания, документы);
  • обрабатываются договоры, коммерческие предложения, цены, условия работы с ключевыми клиентами;
  • в процессе участвуют финансовые данные: выписки, акты сверки, управленческая отчётность;
  • есть внутренние требования службы ИБ или отраслевые требования к обработке данных;
  • компания работает с государственными заказчиками или крупными корпорациями, которые предъявляют требования к подрядчикам;
  • планируется, что ИИ получит доступ к рабочим системам — 1С, CRM, документообороту — а не только к отдельным текстам.

Отдельный случай — большой объём. Если система обрабатывает тысячи документов или обращений в день, фиксированная стоимость собственной инфраструктуры может оказаться ниже, чем оплата каждого запроса к внешнему сервису. Это не всегда так, и считать нужно на конкретных цифрах — но этот фактор стоит учитывать даже тогда, когда требований ИБ нет.

Когда можно обойтись без закрытого контура

Закрытый контур — не обязательное условие для любого применения ИИ. Он избыточен, если:

  • обрабатываются только публичные данные — тексты для сайта, описания товаров, открытая информация о рынке;
  • данные можно надёжно обезличить до отправки;
  • объём небольшой, а задачи не связаны с рабочими системами;
  • служба ИБ проверила условия внешнего сервиса и разрешила его для конкретных категорий данных.

В таких случаях дешевле и быстрее использовать внешний сервис по договору с понятными условиями обработки данных. Мы рекомендуем закрытый контур там, где он оправдан, а не везде.

Что нужно со стороны компании

Для on-premise понадобится сервер с графическими ускорителями (GPU). Конфигурация зависит от размера модели и количества одновременных запросов. Ориентир: модели среднего размера, которых достаточно для работы с документами и ответов по базе знаний, работают на одном сервере с одной-двумя GPU; для крупных моделей и высокой нагрузки нужно больше. Точную конфигурацию подбираем на аудите — после того как понятны задачи и объёмы.

Кроме оборудования нужны:

  • доступ к системам, с которыми будет работать ИИ, — через API или выгрузки;
  • участие IT-службы в развёртывании и настройке сетевого доступа;
  • участие службы ИБ в согласовании архитектуры, ролей и правил журналирования;
  • владелец процесса со стороны бизнеса, который проверяет качество работы системы на пилоте.

Какие задачи обычно решают в закрытом контуре

Закрытый контур имеет смысл, когда на нём работают конкретные процессы с понятной экономикой. Типичные сценарии:

  • Поиск по корпоративной документации. Инженеры производства, сотрудники поддержки или новые менеджеры задают вопрос и получают ответ со ссылкой на конкретный пункт регламента, инструкции или технической документации. Вместо 10–15 минут поиска по папкам — минута. Подробно — на странице о базе знаний с ИИ.
  • Обработка входящих документов. Счета, УПД, акты, заявки приходят на почту, система извлекает данные, сопоставляет с контрагентами и номенклатурой и готовит документы в 1С. Реквизиты, суммы и условия поставок не покидают компанию.
  • Проверка договоров по чек-листу. Система сравнивает договор контрагента с внутренними требованиями компании и подсвечивает отклонения. Решение принимает юрист, а тексты договоров остаются внутри.
  • Анализ звонков. Записи разговоров с клиентами расшифровываются и оцениваются по чек-листу качества. Записи содержат персональные данные и коммерческие условия — внешняя обработка здесь часто недопустима.
  • Корпоративный ассистент для сотрудников. Тот же удобный формат чата, что и у публичных сервисов, но с доступом к внутренним документам по правам сотрудника и с журналом.

Все эти сценарии используют одну и ту же инфраструктуру. Поэтому первый процесс несёт основную часть затрат на развёртывание, а каждый следующий подключается дешевле.

Сколько это стоит

Стоимость складывается из разовых и ежемесячных расходов.

  • Разовые: оборудование (для on-premise) — от нескольких сотен тысяч до нескольких миллионов рублей в зависимости от конфигурации; проектирование, развёртывание, интеграции и пилот.
  • Ежемесячные: аренда ресурсов (для private cloud) или обслуживание оборудования, поддержка, обновление моделей и доработки.

Модельный пример сравнения. Компания обрабатывает 4 000 документов в месяц, в будущем — до 10 000. При оплате внешнего сервиса за запросы расходы растут вместе с объёмом. При собственной инфраструктуре расходы фиксированы: условно, 70 000 ₽ в месяц амортизации и поддержки — и при 4 000, и при 10 000 документов, пока хватает мощности. Где именно проходит точка, после которой собственный контур дешевле, зависит от цен, размера документов и модели — её считают для каждого случая отдельно.

Демонстрационный расчёт. Фактический эффект определяется после аудита процесса.

Главный вопрос, однако, не в стоимости инфраструктуры, а в экономике процесса: сколько часов ручной работы снимает система и сколько это стоит. Расчёт подробно разобран в статье о расчёте окупаемости автоматизации; для быстрой оценки есть калькулятор.

Безопасность — это не только расположение сервера

Распространённое заблуждение: «модель стоит у нас, значит, всё безопасно». Сервер внутри периметра — необходимое, но не достаточное условие. Утечка может произойти и внутри компании, если система показывает сотруднику документы, к которым у него не должно быть доступа.

Что проверяем при проектировании:

  • Наследование прав. Права доступа к документам берутся из исходных систем и проверяются при каждом запросе, а не настраиваются отдельно «для ИИ».
  • Минимальные полномочия агентов. Если система создаёт документы в 1С, у неё нет права их проводить или удалять, пока это не согласовано.
  • Журнал и его хранение. Сколько хранятся запросы, кто имеет к ним доступ, как журнал защищён от изменения.
  • Ограничение содержимого журнала. Иногда журнал сам становится чувствительным хранилищем: в нём оказываются тексты договоров и персональные данные. Это тоже нужно учесть.
  • Обновление моделей. Новая версия модели проходит проверку на ваших тестовых примерах, прежде чем попасть в рабочий контур.

Что с требованиями законодательства

Вопрос о соответствии требованиям к обработке персональных данных — в том числе 152-ФЗ — задают почти всегда. Ответ честный: соответствие определяется не технологией, а совокупностью мер компании — организационных, технических, документальных. Архитектура ИИ — только одна из них.

Мы проектируем архитектуру с учётом требований компании к информационной безопасности и обработке данных: где хранятся данные, кто к ним имеет доступ, как ведётся журнал. Подтверждение соответствия остаётся за вашей службой ИБ и юристами. Закрытый контур существенно упрощает эту задачу, потому что данные не покидают инфраструктуру, которую компания и так защищает. Но обещать «стопроцентное соответствие» за счёт одного только расположения модели было бы некорректно.

Частые вопросы IT-службы

Можно ли развернуть систему без доступа в интернет?

Да. Модели и компоненты устанавливаются в изолированном сегменте сети. Обновления доставляются и проверяются по согласованной процедуре.

Как система встраивается в существующую авторизацию?

Через корпоративный каталог пользователей — Active Directory, LDAP или SSO. Роли и группы берутся оттуда, отдельная база пользователей не нужна.

Что будет, если модель устареет?

Модель — заменяемый компонент. Новая версия сначала проверяется на тестовом наборе ваших примеров, сравнивается по точности с текущей и только потом переводится в рабочий режим. Процессы и интеграции при этом не переделываются.

Кто отвечает за эксплуатацию?

Варианты разные: IT-служба компании после передачи документации и обучения, KV13 по договору поддержки или совместная модель. Это решается до начала проекта.

Как начать

  1. Определить процессы. Закрытый контур — инфраструктура, а не цель. Сначала нужно понять, какие процессы на нём будут работать и какую экономию дадут. Это делается на аудите.
  2. Классифицировать данные. Какие данные участвуют в процессах, какие из них чувствительные, какие требования предъявляет ИБ.
  3. Выбрать архитектуру. On-premise, private cloud или гибрид — по требованиям, объёму и наличию инфраструктуры.
  4. Собрать прототип на тестовых данных. Проверить качество выбранной модели на ваших документах, а не на демонстрационных.
  5. Провести пилот. 3–8 недель в параллельном режиме с замером точности, времени и экономики.
  6. Масштабировать. Подключать следующие процессы к уже развёрнутой инфраструктуре — каждый следующий обходится дешевле первого.

Если в компании уже стоит вопрос о том, что сотрудники используют публичные чаты для рабочих задач, отдельно посмотрите на корпоративный ИИ-ассистент — он работает в том же контуре и закрывает эту задачу. Подробно об архитектуре, вариантах развёртывания и требованиях к оборудованию — на странице ИИ в закрытом контуре.

Обсудим закрытый контур для ваших процессов

Разберём, какие данные участвуют в процессах, какие требования у службы ИБ и какая архитектура подойдёт: on-premise, частное облако или гибрид.

Сотрудников в компании

Узнайте, сколько стоит ручная работа внутри вашей компании

Разберём один или несколько процессов, найдём точки автоматизации и предварительно оценим экономический эффект. Первая встреча — 45 минут, без обязательств.

Сотрудников в компании

Найти точки экономии