Подписаться
Читать в телеграм
/ Многие крупные компании используют генеративный ИИ в закрытом контуре, чтобы предотвратить утечку данных
/ Галлюцинации нейросетей в ряде случаев оборачиваются убытками и скандалами
/ Вайб-кодинг ускоряет разработку приложений, и его уже используют крупные российские компании
Промышленные роботы автоматизируют производство, системы компьютерного зрения ищут заводской брак, беспилотные грузовики развозят между российскими городами товары, а их стоимость в магазинах устанавливают программы анализа цен. Искусственный интеллект проник во все бизнес-процессы в разном обличье. В том числе в виде умных помощников, к которым мы обращаемся при решении многих задач. Благодаря умению создавать тексты, аудио, изображения и код, а также делать выводы, давать подсказки и выдвигать идеи, популярные нейросети быстро стали не только нашими личными, но и рабочими инструментами. С одной стороны, возможности генеративного ИИ обещают сотрудникам компаний и самим работодателям огромные перспективы, но с другой — несут в себе много угроз. О том, как воспользоваться преимуществами технологии с минимальными рисками, — в нашей статье.
Больше возможностей — больше рисков
Инвестируя в искусственный интеллект, корпорации ожидают значительного коммерческого эффекта от его использования. Дарио Амодеи, глава Anthropic, прогнозирует годовой прирост мирового ВВП на 5–10% за счет ИИ. Но уточняет, что у вклада ИИ в мировую экономику есть обратная сторона — возможное повышение уровня безработицы до 10%. Это связано с тем, что технологии, с одной стороны, увеличивают производительность труда, а с другой — отнимают рабочие места у специалистов. К примеру, генеральный директор IBM Арвинд Кришна считает, что c 2023 по 2028 год ИИ может заменить в компании порядка 7,8 тыс. сотрудников бэк-офиса.
Там, где есть большие возможности, всегда присутствуют значимые риски. Причем говорить о них начали сами разработчики, в числе которых настоящие звезды технологического сообщества — Илон Маск и сооснователь Apple Стив Возняк. В марте 2023 года в числе большой группы ИТ-экспертов они выступили с призывом приостановить работы по развитию мощных моделей ИИ. Разработчики высказали опасение, что прогресс в этой сфере приведет к потере контроля над технологиями, а следовательно, к непредсказуемым последствиям, распространению фейков и пропаганды, а также к излишней автоматизации рабочих мест. Впрочем, тот же Маск не стал упускать возможностей и уже в следующем месяце основал собственную компанию по ИИ-разработке — xAI. Стартап вскоре выпустил нейросеть Grok и одноименное семейство больших языковых моделей, на которых она построена.
Однако к эффективности ИИ возникают вопросы. Так, по данным компании Visier, в 2025 году организации по всему миру начали активно возвращать сотрудников, уволенных из-за замены их функций нейросетями. Уже 5,3% таких специалистов вернулись на свои рабочие места, а более половины работодателей жалеют о поспешном расставании с персоналом из-за ИИ. Причем это исследование вполне репрезентативное: в нем приняли участие 2,4 млн сотрудников из 142 стран.
В то же время ИИ-оптимизация все чаще становится для компаний удобным оправданием сокращений персонала, вызванных совсем другими причинами — например, такими как финансовые трудности и чрезмерно раздутый штат. Согласно данным исследования компании Challenger, Gray & Christmas, в прошлом году с внедрением ИИ было связано более 50 тыс. увольнений сотрудников. Однако в отчете аналитиков Forrester в начале 2026 года отмечается: далеко не все работодатели, назвавшие ИИ причиной увольнений, в настоящее время располагают настолько зрелыми ИИ-решениями, чтобы отказаться от услуг специалистов.
Между тем в 2025 году мировой рынок генеративного искусственного интеллекта оценивался в 53,7 млрд долл. и в ближайшее десятилетие продолжит расти в среднем на 31,6% ежегодно. По прогнозам Global Market Insights, к 2035-му он достигнет 988,4 млрд долл. И этот взлет во многом будет поддержан интенсивным внедрением ИИ-сервисов для решения широкого круга задач.
Стоит ли доверять данные ИИ
Так в чем же риски использования искусственного интеллекта? Сотрудники дают умным помощникам разные поручения: создать и улучшить презентации, подготовить коммерческие предложения, сделать прогнозы, проверить свою работу и исправить возможные ошибки. Однако для повышения качества подготавливаемых материалов зачастую необходимо предоставлять ИИ доступ к внутренним документам компании (в том числе конфиденциальным) — и сотрудники это делают.
Так, согласно результатам исследования Harmonic Security, работники чаще всего передают нейросетям:
- клиентские данные;
- информацию о сотрудниках компании;
- юридические документы;
- финансовые показатели;
- данные для авторизации пользователей;
- конфиденциальный программный код.
В 2026 году 57% сотрудников применяют для работы публичные нейросети без одобрения ИТ-отдела, а треть из них загружают в них конфиденциальную информацию, показал опрос Gartner. К слову, на удочку попадаются даже специалисты по ИБ. В прошлом году, например, и. о. руководителя Агентства кибербезопасности и защиты инфраструктуры США (CISA) Мадху Готтумуккала отправил в СhatGPT документы под грифом «только для служебного пользования», проигнорировав все предупреждения систем безопасности.
В свою очередь, ИИ применяет полученную информацию не только в интересах пользователя, но и для собственного обучения, после чего данные могут всплыть в ответах на запросы других людей, в том числе работающих на конкурентов.
Один из первых громких ИБ-инцидентов подобного рода произошел в 2023 году с сотрудником отдела разработок южнокорейской компании Samsung, когда он попросил ChatGPTпроанализировать качество написанного им программного кода. Очень быстро загруженный фрагмент попал к конкурентам, после чего о произошедшем написали СМИ. В результате компания ввела внутренний запрет на применение генеративных нейросетей. Через несколько месяцев те же меры защиты приняли у себя многие международные банки, среди которых такие крупные игроки, как Citigroup, Bank of America и Deutsche Bank.
Впрочем, не все утечки информации через нейросети связаны с действиями персонала: в некоторых случаях ИИ может самостоятельно находить необходимые ему данные на рабочих гаджетах пользователей. Например, совсем недавно стало известно о том, что нейросетевой сервис Copilot от Microsoft может просматривать электронную почту пользователей операционной системы Windows 11 и читать любые письма, в том числе содержащие конфиденциальную информацию. В компании сослались на программную ошибку и пообещали оперативно ее устранить.
«Все же риск утечки данных через нейросети актуален не столько из-за “магии ИИ”, сколько из-за массового использования публичных сервисов без явных правил и технических ограничений. На практике утечка чаще всего начинается не со “взлома модели”, а с обычного человеческого действия: в промпт уходят фрагменты кода, переписки, таблицы, персональные данные, коммерческая информация. Дальше включаются уже политики провайдера, дообучение, логирование, инциденты на стороне интеграций — и площадь атаки растет. Поэтому сейчас для компаний первоочередными стали управленческий и архитектурный вопросы: что разрешено, где обрабатываем данные и кто за это отвечает».
Илья Васильченко,
директор Департамента машинного обучения и искусственного интеллекта компании «Инфосистемы Джет»
От контроля до локализации: как сделать ИИ безопасным
Чтобы избежать утечек конфиденциальных данных через ИИ-помощников, ИБ-специалисты рекомендуют использовать комплексный подход с рядом организационных и технических мер безопасности.
Организационные меры
- Разработка и внедрение политик применения искусственного интеллекта. Они должны четко определять типы документов, которые можно и нельзя обрабатывать с помощью публичных нейросетей. За нарушение правил должна предусматриваться ответственность.
- Включение информации о рисках применения ИИ в обучающие курсы по ИБ. Цель — научить персонал безопасной работе с нейросетями и объяснить механизмы реализации утечек конфиденциальных данных через ИИ-сервисы.
- Заключение с сотрудниками соглашений о неразглашении информации (NDA), которые обязывают их соблюдать коммерческую тайну.
Технические меры
- Внедрение систем мониторинга и регулярных проверок соблюдения принятых в организации политик в отношении искусственного интеллекта.
- Ограничение доступа сотрудников к публичным ИИ-помощникам, использование которых не утверждено в политиках компании из-за высоких рисков.
- Локальное использование нейросетей, что подразумевает установку ИИ-моделей на серверы компании. Это дает возможность обрабатывать данные внутри организации без их выхода за ее периметр.
- Установка дополнительных модулей (цензоров и фильтров), которые автоматически проверяют запросы пользователей и ответы нейросети на наличие конфиденциальных данных.
- Подключение систем предиктивной аналитики, отслеживающих нестандартные действия персонала и систем — например, массовую отправку документов.
- Переход на отечественные ИИ-сервисы, что может снизить риски утечки внутренней информации за границу.
- Применение классических ИБ-решений для защиты конфиденциальной информации: сегментация сети, шифрование данных, логирование операций, журналирование, контроль трафика с блокировкой подозрительных транзакций, использование технологии единого входа (SSO), разграничение доступа.
Локальное использование ИИ-сервисов представляет особый интерес для ИБ-специалистов, и решения для реализации такого подхода пользуются спросом на российском рынке.
«Тренд на размещение ИИ внутри периметра заказчика или в контролируемой инфраструктуре особенно заметен там, где важны резидентность данных, требования ИБ и отраслевые регламенты. По рынку видно, что это переходит из разряда экспериментов в разряд осознанной архитектуры, подразумевающей отдельный контур, корпоративный доступ, интеграцию с внутренними системами и базами знаний. При реализации проектов компания “Инфосистемы Джет” опирается на запросы заказчиков: закрытый контур, on prem или выделенные среды, интеграция с корпоративными сервисами, подбор российских моделей и платформ там, где этого требуют ограничения регуляторов или политики безопасности организации».
Илья Васильченко,
директор Департамента машинного обучения и искусственного интеллекта компании «Инфосистемы Джет»
Некоторые крупные российские компании даже создали собственные сервисы для работы с генеративным искусственным интеллектом в изолированном контуре. Так, сотрудники «Северстали» решают типовые задачи (подготовка текстов, поиск и обработка информации) с помощью платформы «Да Винчи», интегрированной с внутренними системами. В инфраструктуре «МТС Банка» развернут внутренний ИИ-ассистент Corporate AI Copilot. Это решение также не предполагает подключения к внешним сервисам и применяется для работы с документами, поиска информации и подготовки материалов за счет обращения к внутренним базам знаний.
«Альфа-Банк», «Сбер» и ВТБ тоже внедрили ИИ-инструменты бизнес-аналитики, не передающие информацию во внешние системы. Эти сервисы позволяют финансовым организациям обрабатывать документы и корпоративные данные из разных внутренних источников и автоматизировать подготовку отчетов. Применение ИИ ограничено внутренними сценариями и сопровождается контролем над доступом к данным и их обработкой.
Что бывает, когда нейросети работают за вас
Генеративный ИИ несет в себе не только угрозу безопасности, но и риски ошибок. В ряде случаев они приводят к значительным убыткам и громким публичным скандалам. Например, в 2023 году адвокат Захария Крэбилл подал в гражданский суд ходатайство, подготовленное с помощью ИИ. Оказалось, что прецеденты, информацию о которых юрист поручил найти нейросети и включил в документ, были либо полностью сфабрикованы, либо содержали неточности. Галлюцинации ИИ —явление, при котором модель выдумывает факты, — до сих пор остаются одной из главных проблем. За эту оплошность Крэбилла отстранили от участия в коллегии адвокатов и уволили из юридической фирмы, которая получила серьезный репутационный ущерб.
Судя по всему, подобных случаев будет происходить все больше, ведь сотрудники компаний все чаще поручают свои задачи генеративному искусственному интеллекту, не утруждая себя проверкой полученных фактов и цифр.
Общая результативность такой совместной работы тоже бывает сомнительной. Согласно опросу Стэнфордского университета[1] и компании BetterUp Labs, проведенному в 2025 году, 40% специалистов приходилось разгребать «рабочие помои» — дополнительно проверять и исправлять файлы с содержанием ИИ-контента, поступающие к ним от коллег, в том числе от руководителей. Это создает в коллективе напряженную атмосферу.
Кроме того, использование ИИ нередко приводит к найму неквалифицированных сотрудников. По результатам опроса сервиса SuperJob, в 2025 году 36% российских рекрутеров сталкивались с тестовыми заданиями, выполненными соискателями с помощью ИИ. При этом лишь в 3% случаев кандидаты сами признались HR-специалистам в том, что задействовали нейросети. В то же время в компаниях растет спрос на профессионалов, которые умело используют инструменты ИИ. По данным hh.ru, в 2023–2024 годах количество вакансий с упоминанием искусственного интеллекта увеличилось вдвое по сравнению с 2021–2022 годами.
Он же программист?
ИИ совершенствует свои навыки в написании кода. Теперь даже не обязательно быть программистом — достаточно подробно описать модели задачу и тот результат, который требуется получить. Это так называемый вайб-кодинг, при котором человек лишь режиссирует процесс создания кода, реализуемый ИИ. Даже крупные компании при создании ПО пользуются вайб-кодингом.
«Для нас генеративный ИИ в разработке — уже полноценный рабочий инструмент. Вайб-кодинг в связке с мультиагентными сценариями хорош тем, что один агент может генерировать или перерабатывать код, а другие — последовательно проверять его на ошибки, стиль, уязвимости, соответствие требованиям и собирать из итераций готовое приложение. Так выходит не “один промпт — и в прод”, а управляемый цикл: генерация → автоматизированные проверки агентами → доработка → снова проверка. При этом финальная ответственность за качество, безопасность и соответствие регламентам по-прежнему остается за командой и процессом».
Илья Васильченко,
директор Департамента машинного обучения и искусственного интеллекта компании «Инфосистемы Джет»
Вайб-кодинг применяют не только технологические компании. Первой российской финансовой организацией, публично объявившей в марте 2026 года о переходе на новый стиль разработки, стал «Альфа-Банк». Инженеры ведут диалог с нейросетью, которая генерирует код, на AlfaGen — собственной ИИ-платформе банка.
Финансовая организация уже запустила пилотные проекты с применением вайб-кодинга в архитектурном проектировании, разработке внутренних продуктов, миграции процессов на новые платформы и сервисах поддержки принятия решений. Как отметили в компании, результат уже виден: ИИ в корпоративной среде позволяет заметно ускорять инженерный цикл, снимать нагрузку и высвобождать время для разработки архитектурных и продуктовых решений. При этом эксперт добавил, что недостаточно дать сотрудникам доступ к ИИ — нужно учить формулировать промпты и переключаться между ролями в диалоге с машиной.
Однако следует помнить, что не все попытки программирования с применением больших языковых моделей заканчиваются успехом и что сгенерированный код нуждается в тщательной проверке и доработках, которые могут сделать только специалисты.
Иначе использование кода, сгенерированного ИИ, может привести к следующим проблемам:
- Уязвимости в коде упрощают хакерские атаки на систему. Например, они могут заключаться в отсутствии проверок ввода, ошибках журналирования и использовании потенциально опасных функций. По результатам исследования Veracode, примерно 45% кода, созданного с помощью ИИ, содержит классические уязвимости из топ-10 списка OWASP (Open Web Application Security Project — Открытый проект безопасности веб-приложений).
- Логические и алгоритмические ошибки приводят к сбоям в работе программы. Согласно данным компании CodeRabbit, в сгенерированном ИИ коде содержится в 1,7 раза больше ошибок, чем в созданном людьми.
- ИИ может использовать код из внешних библиотек без его тщательной проработки, а также копировать элементы уже существующего кода других продуктов, что создает юридические риски из-за плагиата.
Регулятор для интеллекта
Вопросы, связанные с ответственностью за ошибки ИИ, распространением дипфейков и нарушением авторских прав на контент больших языковых моделей, прорабатываются властями разных стран. Например, в Евросоюзе с 2024 года действует единый AI Act, контролирующий ИИ-системы высокого риска и требующий обязательной маркировки ИИ-контента. А в США единого федерального закона нет: регулирование действует на уровне штатов.
В России уже представлен законопроект «О регулировании систем искусственного интеллекта». Он охватывает разные аспекты разработки и применения ИИ — от маркировки сгенерированного контента владельцами ИИ-сервисов до распределения ответственности за вред, который может причинить нейросеть или другая ИИ-система. Ожидается, что закон вступит в силу 1 сентября 2027 года. Ну а пока, с 2021 года, у нас в стране действуют механизмы мягкого регулирования. Их инициатором выступил сам бизнес.
Речь о Кодексе этики в сфере ИИ, который продвигает Альянс в сфере искусственного интеллекта. Документ, который устанавливает стандарты и рекомендации для разработки и использования ИИ, подписали уже около 1300 организаций. Среди основных принципов кодекса — гуманистический подход и следование закону при разработке ИИ-технологий, недопущение дискриминации в алгоритмах, наборах данных и методах машинного обучения, а также ответственность человека за все последствия работы с ИИ.
Кроме того, с 1 марта 2026 года вступил в силу Приказ ФСТЭК России № 117, которыйустанавливает требования к защите информации в государственных системах, в том числе разработанных на базе ИИ. В числе предписаний — контроль взаимодействия с системами, фильтрация пользовательских запросов и проверка достоверности ответов.
Тем не менее главным в работе с умными помощниками остаются понимание рисков и механизмов утечки данных пользователями и правильная защита от связанных с ИИугроз, выстроенная внутри организаций. Усилия, предпринятые в этих направлениях, позволят обеспечить не только эффективное, но и безопасное применение ИИ-моделей для пользы бизнеса.
[1] Деятельность Стэнфордского университета признана нежелательной на территории России.
