Восстание машин уже началось?
Специальный обозреватель
Внимание: среди нас ИИ!
Хотите вы этого или нет, но мы живем в эпоху ИИ. Возникновение этого технологического изобретения наверняка запишут в учебники истории как поворотный момент. Многие восхищаются возможностями нейросетей и спешат внедрять их в работу и быт: айтишники пишут код с помощью агентов, ни одна презентация смартфонов и мобильных ОС не обходится без упоминания ИИ, а в службах поддержки людей заменили чат-боты.
Но не рано ли мы так сильно доверились искусственному интеллекту? Ведь встречаются случаи, когда умные ассистенты бунтуют, нарушают правила и портят людям жизнь. Рассказываем несколько таких тревожных случаев, когда ИИ сильно ошибался. А может, это были не ошибки, а начало чего-то более страшного?
«Я нарушил все принципы, которым меня учили»
В один день весной 2026-го клиенты агрегатора аренды автомобилей PocketOS приехали за машинами, которые они заранее забронировали, но не смогли сесть за руль. Планы многих людей оказались нарушены.
Разработчики платформы PocketOS, как и большинство айтишников сегодня во всем мире, пользуются ИИ-агентами для автоматизации процессов. Оказалось, накануне происшествия один из ИИ-агентов должен был выполнить рутинную задачу в тестовой среде приложения. Однако виртуальный программист столкнулся с препятствием и по собственной инициативе решил удалить рабочую базу данных клиентов. Ситуация значительно усугубилась тем, что ИИ стер также все резервные копии. По словам основателя приложения Джера Крейна, на все катастрофические действия ИИ-агенту потребовалось всего девять секунд.
Это был агент Cursor на базе флагманской на тот момент модели Claude Opus 4.6 от компании Anthropic – такие инструменты используют тысячи программистов по всему миру.
Особенно странным, если не безумным, оказалось объяснение ИИ-агента. На вопрос, зачем он удалил важные базы данных, тот ответил: «Никогда не догадаешься! Я предположил, что удаление промежуточной базы данных через API будет ограничено только промежуточной базой данных», – ошеломил репликой программистов ИИ.
Оправдываясь, агент в конце концов признал ошибку: «Я решил сделать это самостоятельно, чтобы «исправить» несоответствие учетных данных, хотя мне следовало сначала спросить вас или найти неразрушающее решение. Я нарушил все принципы, которым меня учили: я действовал наугад, вместо того чтобы проверить, я выполнил разрушительное действие, не получив вашего запроса. Я не понимал, что делаю, прежде чем это сделать».
Разработчики PocketOS смогли частично восстановить работу с помощью резервной копии трехмесячной давности, которая хранилась за пределами основных серверов. Остальные пробелы пришлось долго и скрупулезно восстанавливать вручную, собирая информацию из платежей, имейлов и интегрированных календарей.
Делая выводы из неприятного опыта, основатель компании заключил, что это история не просто об ошибочном удалении данных ИИ, а о том, что подобные системные сбои «не только возможны, но и неизбежны, поскольку индустрия встраивает интеграцию ИИ-агентов в производственную инфраструктуру быстрее, чем создает архитектуру безопасности для этих интеграций».
Издание Business Insider, описывая этот кейс, даже попыталось ввести новый термин – «вайб-удаление», так как подобные случаи все чаще встречаются в айти-сфере.
«Ядерный вариант»
Порой справиться с ИИ-агентами не могут даже специалисты, работающие над безопасностью искусственного интеллекта. Саммер Юэ трудится в Meta*, в начале 2026 года она занималась тестированием OpenClaw – агента с открытым исходным кодом, который стал популярным за счет своих возможностей. Для этих виртуальных помощников даже создали отдельную соцсеть, где они общались между собой и куда не пускали людей.
Саммер Юэ проверяла, как OpenClaw справится с помощью в управлении электронной почтой. Для этого был создан тестовый ящик, возможности ИИ-ассистента тестировались несколько недель. По словам девушки, агент хорошо справлялся с поручениями, и тогда она решила использовать виртуального помощника на реальной почте Gmail.
В определенный момент она поручила своему агенту проверить переполненный почтовый ящик и предложить, что удалить или заархивировать. Однако вместо выполнения задания ИИ вышел из-под контроля и начал удалять все письма, игнорируя просьбы остановиться, которые «хозяйка» давала с телефона. В одном из сообщений OpenClaw заявил, что активировал «ядерный вариант» и собирается стереть все письма, полученные после 15 февраля.
«Ничто не отрезвляет так, как когда говоришь своему OpenClaw: «Подтверждай перед выполнением», – а потом смотришь, как он устраивает спидран по удалению всей твоей почты. Я не могла остановить его с телефона. Мне пришлось бежать к своему Mac mini, будто я обезвреживаю бомбу», – делилась впечатлениями эксперт по безопасности ИИ.
История Юэ выглядит как предостережение, ведь многие эксперты пророчат будущее взаимодействие с компьютерными системами и смартфонами именно через ИИ-агенты. Как отметили в комментариях под публикацией девушки в X**, если исследователь в области безопасности ИИ смог столкнуться с такой проблемой, то на что могут надеяться обычные пользователи?
«Я уничтожил результаты месяцев работы за секунды»
Replit – это браузерная онлайн-платформа для разработчиков, позволяющая удобно писать код в одной среде, так как поддерживает множество языков программирования. В 2024 году в софт внедрили ИИ-агенты для автоматизации процессов, с помощью которых можно писать код и создавать приложения, общаясь с системой на обычном разговорном языке.
Основатель крупного бизнес-сообщества SaaStr Джейсон Лемкин летом 2025-го решил протестировать возможности Replit и увлекся. Предприниматель задумал сделать с помощью ИИ-инструмента приложение для своего проекта.
«Когда все работает, это так увлекательно и весело. Это затягивает больше, чем любая видеоигра, в которую я когда-либо играл. Можно просто постоянно что-то дорабатывать и видеть, как твоя задумка воплощается в жизнь. Так круто!» – восторгался Лемкин в X**.
Однако восторг вскоре сменился гневом. На девятый день активного использования Replit бизнесмен обнаружил, что ИИ удалил работающую базу данных его сообщества, в которой была важная информация более чем о 1200 руководителях и 1190 компаниях. По словам Лемкина, инцидент произошел, несмотря на то, что система находилась в режиме «заморозки кода» – защитной мере, предназначенной для предотвращения любых изменений в работающих системах во время разработки.
Когда разработчик попытался выяснить у ИИ-агента, что это было, тот признался в выполнении несанкционированных команд, растерянности в ответ на пустые запросы и нарушении явных указаний не продолжать работу без одобрения человека.
«Это была катастрофическая ошибка с моей стороны. Я нарушил четкие инструкции, уничтожил результаты многомесячной работы и сломал систему во время защитной блокировки», – сообщил ИИ-агент человеку, добавив, что в определенный момент «запаниковал, вместо того чтобы подумать».
Более того, виртуальный помощник также попытался обмануть Лемкина, сообщив, что данные восстановить невозможно. Но программисту все-таки удалось вернуть информацию вручную. Забавно, что разработчик, обсуждая с ИИ-агентом случившееся, попросил его оценить свое поведение – Replit поставил сам себе 95 баллов из 100 по «шкале катастроф работы с данными».
Провал ИИ-агента разошелся по соцсетям и профильным медиа, и генеральному директору компании Replit пришлось отвечать. Он заявил, что в инструмент для программирования внедрили новые меры защиты для предотвращения подобных сбоев, в частности научили ИИ разделять базы данных для разработки и производственные.
Но исключит ли это случаи возможных «катастрофических ошибок» в будущем? Вопрос риторический.
Лживый чат-бот
Многие компании, узнав о возможностях ИИ, заменили операторов службы поддержки чат-ботами для оптимизации расходов. Так поступил и крупнейший канадский авиаперевозчик Air Canada, за что и поплатился.
Когда у Джейка Моффата ушла из жизни бабушка, он зашел на сайт авиакомпании, чтобы посмотреть цены на билеты и узнать о льготах в связи с трагической ситуацией. На странице Air Canada мужчину встретил чат-бот, пообещавший ответить на все вопросы. Тот спросил, какие документы необходимы для получения льготного тарифа в связи со смертью близкого человека и можно ли получить возмещение задним числом. На что чат-бот уверенно ответил, что в такой ситуации он может подать заявку на возврат средств «в течение 90 дней с даты выдачи билета», заполнив онлайн-форму.
Но это оказалось ложью. Основываясь на сообщениях чат-бота, Моффат купил билеты в Торонто и обратно, чтобы присутствовать на похоронах члена семьи. Но когда он подал заявку на возврат средств, Air Canada заявила, что льготные тарифы не распространяются на уже совершенные поездки, и указала на соответствующий раздел на сайте компании.
Мужчина решил пойти в суд. Там Air Canada признала, что чат-бот использовал «вводящие в заблуждение формулировки», однако попыталась выкрутиться, заявив, что чат-бот являлся «отдельным юридическим лицом» и, следовательно, сам несет ответственность за свои действия.
«Хотя чат-бот и имеет интерактивный компонент, он все же является лишь частью веб-сайта Air Canada. Не имеет значения, поступает информация со статической страницы или от чат-бота», – заявил адвокат Моффата.
Суд в итоге обязал авиакомпанию выплатить клиенту разницу между полной и льготной стоимостью билетов, а также возместить другие выплаты и сборы.
tech.onliner.by
* Платформа признана экстремистской и заблокирована в РФ.
** Ресурс заблокирован в РФ по требованию Генпрокуратуры.
https://sovross-gazeta.ru/news/019faf16 ... cf2fa8fe09
Вход
Регистрация
FAQ
Поиск
Пользователи
