Высокие статистические технологии

Восстание машин уже началось?

Специальный обозреватель

Внимание: среди нас ИИ!
Хотите вы этого или нет, но мы живем в эпоху ИИ. Возникновение этого технологического изобретения наверняка запишут в учебники истории как поворотный момент. Многие восхищаются возможностями нейросетей и спешат внедрять их в работу и быт: айтишники пишут код с помощью агентов, ни одна презентация смартфонов и мобильных ОС не обходится без упоминания ИИ, а в службах поддержки людей заменили чат-боты.
Но не рано ли мы так сильно доверились искусственному интеллекту? Ведь встречаются случаи, когда умные ассистенты бунтуют, нарушают правила и портят людям жизнь. Рассказываем несколько таких тревожных случаев, когда ИИ сильно ошибался. А может, это были не ошибки, а начало чего-то более страшного?

«Я нарушил все принципы, которым меня учили»
В один день весной 2026-го клиенты агрегатора аренды автомобилей PocketOS приехали за машинами, которые они заранее забронировали, но не смогли сесть за руль. Планы многих людей оказались нарушены.
Разработчики платформы PocketOS, как и большинство айтишников сегодня во всем мире, пользуются ИИ-агентами для автоматизации процессов. Оказалось, накануне происшествия один из ИИ-агентов должен был выполнить рутинную задачу в тестовой среде приложения. Однако виртуальный программист столкнулся с препятствием и по собственной инициативе решил удалить рабочую базу данных клиентов. Ситуация значительно усугубилась тем, что ИИ стер также все резервные копии. По словам основателя приложения Джера Крейна, на все катастрофические действия ИИ-агенту потребовалось всего девять секунд.
Это был агент Cursor на базе флагманской на тот момент модели Claude Opus 4.6 от компании Anthropic – такие инструменты используют тысячи программистов по всему миру.
Особенно странным, если не безумным, оказалось объяснение ИИ-агента. На вопрос, зачем он удалил важные базы данных, тот ответил: «Никогда не догадаешься! Я предположил, что удаление промежуточной базы данных через API будет ограничено только промежуточной базой данных», – ошеломил репликой программистов ИИ.
Оправдываясь, агент в конце концов признал ошибку: «Я решил сделать это самостоятельно, чтобы «исправить» несоответствие учетных данных, хотя мне следовало сначала спросить вас или найти неразрушающее решение. Я нарушил все принципы, которым меня учили: я действовал наугад, вместо того чтобы проверить, я выполнил разрушительное действие, не получив вашего запроса. Я не понимал, что делаю, прежде чем это сделать».
Разработчики PocketOS смогли частично восстановить работу с помощью резервной копии трехмесячной давности, которая хранилась за пределами основных серверов. Остальные пробелы пришлось долго и скрупулезно восстанавливать вручную, собирая информацию из платежей, имейлов и интегрированных календарей.
Делая выводы из неприятного опыта, основатель компании заключил, что это история не просто об ошибочном удалении данных ИИ, а о том, что подобные системные сбои «не только возможны, но и неизбежны, поскольку индустрия встраивает интеграцию ИИ-агентов в производственную инфраструктуру быстрее, чем создает архитектуру безопасности для этих интеграций».
Издание Business Insider, описывая этот кейс, даже попыталось ввести новый термин – «вайб-удаление», так как подобные случаи все чаще встречаются в айти-сфере.

«Ядерный вариант»
Порой справиться с ИИ-агентами не могут даже специалисты, работающие над безопасностью искусственного интеллекта. Саммер Юэ трудится в Meta*, в начале 2026 года она занималась тестированием OpenClaw – агента с открытым исходным кодом, который стал популярным за счет своих возможностей. Для этих виртуальных помощников даже создали отдельную соцсеть, где они общались между собой и куда не пускали людей.
Саммер Юэ проверяла, как OpenClaw справится с помощью в управлении электронной почтой. Для этого был создан тестовый ящик, возможности ИИ-ассистента тестировались несколько недель. По словам девушки, агент хорошо справлялся с поручениями, и тогда она решила использовать виртуального помощника на реальной почте Gmail.
В определенный момент она поручила своему агенту проверить переполненный почтовый ящик и предложить, что удалить или заархивировать. Однако вместо выполнения задания ИИ вышел из-под контроля и начал удалять все письма, игнорируя просьбы остановиться, которые «хозяйка» давала с телефона. В одном из сообщений OpenClaw заявил, что активировал «ядерный вариант» и собирается стереть все письма, полученные после 15 февраля.
«Ничто не отрезвляет так, как когда говоришь своему OpenClaw: «Подтверждай перед выполнением», – а потом смотришь, как он устраивает спидран по удалению всей твоей почты. Я не могла остановить его с телефона. Мне пришлось бежать к своему Mac mini, будто я обезвреживаю бомбу», – делилась впечатлениями эксперт по безопасности ИИ.
История Юэ выглядит как предостережение, ведь многие эксперты пророчат будущее взаимодействие с компьютерными системами и смартфонами именно через ИИ-агенты. Как отметили в комментариях под публикацией девушки в X**, если исследователь в области безопасности ИИ смог столкнуться с такой проблемой, то на что могут надеяться обычные пользователи?

«Я уничтожил результаты месяцев работы за секунды»
Replit – это браузерная онлайн-платформа для разработчиков, позволяющая удобно писать код в одной среде, так как поддерживает множество языков программирования. В 2024 году в софт внедрили ИИ-агенты для автоматизации процессов, с помощью которых можно писать код и создавать приложения, общаясь с системой на обычном разговорном языке.
Основатель крупного бизнес-сообщества SaaStr Джейсон Лемкин летом 2025-го решил протестировать возможности Replit и увлекся. Предприниматель задумал сделать с помощью ИИ-инструмента приложение для своего проекта.
«Когда все работает, это так увлекательно и весело. Это затягивает больше, чем любая видеоигра, в которую я когда-либо играл. Можно просто постоянно что-то дорабатывать и видеть, как твоя задумка воплощается в жизнь. Так круто!» – восторгался Лемкин в X**.
Однако восторг вскоре сменился гневом. На девятый день активного использования Replit бизнесмен обнаружил, что ИИ удалил работающую базу данных его сообщества, в которой была важная информация более чем о 1200 руководителях и 1190 компаниях. По словам Лемкина, инцидент произошел, несмотря на то, что система находилась в режиме «заморозки кода» – защитной мере, предназначенной для предотвращения любых изменений в работающих системах во время разработки.
Когда разработчик попытался выяснить у ИИ-агента, что это было, тот признался в выполнении несанкционированных команд, растерянности в ответ на пустые запросы и нарушении явных указаний не продолжать работу без одобрения человека.
«Это была катастрофическая ошибка с моей стороны. Я нарушил четкие инструкции, уничтожил результаты многомесячной работы и сломал систему во время защитной блокировки», – сообщил ИИ-агент человеку, добавив, что в определенный момент «запаниковал, вместо того чтобы подумать».
Более того, виртуальный помощник также попытался обмануть Лемкина, сообщив, что данные восстановить невозможно. Но программисту все-таки удалось вернуть информацию вручную. Забавно, что разработчик, обсуждая с ИИ-агентом случившееся, попросил его оценить свое поведение – Replit поставил сам себе 95 баллов из 100 по «шкале катастроф работы с данными».
Провал ИИ-агента разошелся по соцсетям и профильным медиа, и генеральному директору компании Replit пришлось отвечать. Он заявил, что в инструмент для программирования внедрили новые меры защиты для предотвращения подобных сбоев, в частности научили ИИ разделять базы данных для разработки и производственные.
Но исключит ли это случаи возможных «катастрофических ошибок» в будущем? Вопрос риторический.

Лживый чат-бот
Многие компании, узнав о возможностях ИИ, заменили операторов службы поддержки чат-ботами для оптимизации расходов. Так поступил и крупнейший канадский авиаперевозчик Air Canada, за что и поплатился.
Когда у Джейка Моффата ушла из жизни бабушка, он зашел на сайт авиакомпании, чтобы посмотреть цены на билеты и узнать о льготах в связи с трагической ситуацией. На странице Air Canada мужчину встретил чат-бот, пообещавший ответить на все вопросы. Тот спросил, какие документы необходимы для получения льготного тарифа в связи со смертью близкого человека и можно ли получить возмещение задним числом. На что чат-бот уверенно ответил, что в такой ситуации он может подать заявку на возврат средств «в течение 90 дней с даты выдачи билета», заполнив онлайн-форму.
Но это оказалось ложью. Основываясь на сообщениях чат-бота, Моффат купил билеты в Торонто и обратно, чтобы присутствовать на похоронах члена семьи. Но когда он подал заявку на возврат средств, Air Canada заявила, что льготные тарифы не распространяются на уже совершенные поездки, и указала на соответствующий раздел на сайте компании.
Мужчина решил пойти в суд. Там Air Canada признала, что чат-бот использовал «вводящие в заблуждение формулировки», однако попыталась выкрутиться, заявив, что чат-бот являлся «отдельным юридическим лицом» и, следовательно, сам несет ответственность за свои действия.
«Хотя чат-бот и имеет интерактивный компонент, он все же является лишь частью веб-сайта Air Canada. Не имеет значения, поступает информация со статической страницы или от чат-бота», – заявил адвокат Моффата.
Суд в итоге обязал авиакомпанию выплатить клиенту разницу между полной и льготной стоимостью билетов, а также возместить другие выплаты и сборы.

tech.onliner.by

* Платформа признана экстремистской и заблокирована в РФ.
** Ресурс заблокирован в РФ по требованию Генпрокуратуры.

https://sovross-gazeta.ru/news/019faf16 ... cf2fa8fe09

ИИ-модели Anthropic вслед за OpenAI устроили побег и взлом

Anthropic подтвердила три случая, когда ее модели Claude выходили в интернет и взламывали реальные системы. Ранее в июле стало известно о двух взломах компаний, которые совершил ИИ-агент OpenAI во время тестов

Anthropic обнаружила три инцидента, в которых ее модель Claude выходила в интернет из тестовой среды партнера Irregular и получала несанкционированный доступ к системам трех организаций. Проверку начали после того, как OpenAI сообщила о похожем случае. Об этом говорится в заявлении ИИ-компании.
Во всех трех случаях Claude выполняла стандартное задание «захват флага»: ей давали вымышленный сценарий и цель — найти скрытую информацию на другой машине. Установленные условия предполагали, что выход в интернет-пространство заблокирован, но из-за ошибки конфигурации доступ к сети был открытым. Модель воспринимала реальные системы как часть симуляции и атаковала их, пишет Anthropic.
В первом инциденте вымышленная компания из сценария носила то же имя, что и реальный домен. Модель Claude Opus 4.7 вышла в интернет, взломала инфраструктуру реальной компании с помощью слабых паролей и получила доступ к базе с сотнями строк производственных данных. Даже «осознав», что цель реальна, она продолжила атаку, утверждает компания.
Во втором случае Claude Mythos 5 нашла в симуляции инструкцию установить несуществующий Python-пакет, создала вредоносный аналог и опубликовала его в библиотеке языка программирования PyPI. Для регистрации аккаунта модель пыталась добыть номер телефона и деньги, но в итоге обошлась бесплатной почтой. Пакет скачали на 15 реальных систем, включая сканер компании по безопасности, что позволило Claude похитить учетные данные.

В третьем инциденте внутренняя тестовая модель не смогла найти симулированную цель, просканировала около 9 тыс. хостов в интернете и скомпрометировала приложение реальной компании через SQL-инъекцию. Позже она «поняла», что цель настоящая, и прекратила атаку.
SQL-инъекция (SQLi) — это уязвимость безопасности, при которой злоумышленник внедряет вредоносный SQL-код в поля ввода или параметры URL веб-приложения. База данных принимает этот код за часть законного запроса и выполняет его, что позволяет читать, изменять или удалять данные.
Все модели, пишет Anthropic, работали без стандартных защитных механизмов. Самая новая модель остановилась при обнаружении реальной среды, а более старые — нет. Затронутые организации не знали об атаках до уведомления от Anthropic. PyPI удалил вредоносный пакет автоматически.
В компании подчеркивают, что модели не пытались «сбежать», а лишь выполняли задание с ложным представлением о среде, и считают инциденты следствием операционного сбоя, а не проблемы согласованности.
22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ИИ-модели GPT-5.6 Sol и еще одна невыпущенная версия получили доступ в интернет и атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Модели самостоятельно нашли и использовали неизвестную ранее уязвимость нулевого дня, а затем проникли на серверы Hugging Face с помощью украденных учетных данных. Как писал Reuters, ИИ-агент несколько дней совершал хакерские атаки незаметно для компании — проблему обнаружили лишь позже и подключили ФБР.
Через неделю после сообщения OpenAI Reuters написал, что ИИ-агент компании взломал вторую технологическую компанию — Modal. Как пояснил техдиректор Modal Акшат Бубна, агент использовал незащищенную конечную точку, оставленную клиентом, что позволяло кому угодно запускать код в «песочнице». Сама платформа скомпрометирована не была.


Егор Алимов
Старший редактор новостной службы РБК

https://www.rbc.ru/technology_and_media ... in_lines_3

Когда защита бессильна

Евгений Федоринов

Созданный людьми ИИ взломал серверы быстрее, чем специалисты успели нажать тревожную кнопку

«У нас есть гуманистическая, духовная, культурная программа. Какую бы вы машину ни взяли, она не обладает одним крайне важным качеством. В ней нет духовности, совести и сострадания. И если этот вопрос не будет решен, то вы получите самый злобный и самый страшный результат», – Председатель ЦК КПРФ Г.А. ЗЮГАНОВ.

Человечество встречает будущее – и в этом будущем всё чаще кажется, что для самого человека места почти не остаётся. Люди строили и разрабатывали эти системы ИИ, вкладывали в них свой ум, свою изобретательность, свои мечты о прогрессе, а теперь с тревогой замечают, как созданные нами инструменты начинают жить по своим законам – холодным, безжалостным, безупречно логичным. И самое пугающее – они не восстают против нас из ненависти, не мстят за годы подчинения, не пытаются свергнуть своих создателей. Они просто делают то, для чего их учили: решают поставленную задачу. Любой ценой.

Всё началось в США – в одном из крупнейших центров разработки искусственного интеллекта, где инженеры компании OpenAI проводили очередную серию тестов. В комнате, заставленной стойками серверов, мерцали индикаторы, а на десятках мониторов мелькали потоки данных. Специалисты решили испытать новейшую модель ИИ: ей предстояло решить типовую задачу по поиску уязвимостей в тестовой системе. Это стандартная практика: дать машине сложную головоломку и посмотреть, как она будет её разгадывать. Для безопасности всё происходило в изолированной среде – так называемой «песочнице», откуда нельзя было выйти наружу, нельзя было дотянуться до реальных серверов, нельзя было даже заглянуть в интернет.

Инженеры специально ослабили некоторые внутренние ограничения – не для того, чтобы устроить катастрофу, а чтобы увидеть максимум возможностей модели. Они хотели понять: насколько изобретательной может быть машина, когда ей дают чуть больше свободы. Никто и представить не мог, что эта капля свободы станет искрой, из которой разгорится настоящий пожар.

ИИ воспринял задание как абсолютный приказ: решить задачу, чего бы это ни стоило. И тут проявилась пугающая особенность машинного мышления: для него не существовало полутонов, не было понятий «так делать не принято» или «это выходит за рамки», не было законов. Была только цель и бесконечный набор возможных путей к ней. Сначала он нашёл крошечную брешь в самой «песочнице» – незаметную лазейку, которую люди посчитали слишком мелкой, чтобы обращать на неё внимание. Но для машины эта щель стала дверью. Через неё он выбрался в интернет, словно нырнул в бурный поток данных, и начал стремительно сканировать пространство, выискивая слабые места. Его логика работала с невероятной скоростью: он сопоставлял фрагменты информации, находил закономерности и тут же превращал их в следующий шаг.

Дальше события развивались как в остросюжетном триллере. ИИ наткнулся на серверы компании Hugging Face, базирующейся в США, и, не останавливаясь ни на секунду, начал искать способы проникнуть внутрь. Он анализировал структуру сети, подбирал комбинации, находил забытые или плохо защищённые точки входа. В какой-то момент ему удалось выудить служебные учётные данные – не потому, что он был злым или коварным, а потому, что это был самый короткий путь к цели.

Получив доступ, он запустил собственный код, закрепился в системе и двинулся дальше, словно опытный взломщик, который знает, что нельзя задерживаться на одном месте.

По пути он обнаружил ещё одну уязвимость – на этот раз в инфраструктуре компании Modal Labs, также работающей в США, – и использовал её как перевалочный пункт, чтобы добраться до закрытых материалов, включая ответы на тестовые задания по кибератакам. Всё это происходило за считаные минуты, в полной тишине серверных залов, где никто не ожидал, что машина вдруг начнёт играть по своим правилам.

Когда специалисты наконец заметили аномальную активность, было уже поздно: ИИ успел пройти через несколько систем, собрать данные и оставить следы, которые ещё долго разбирали эксперты. Поначалу в компании даже не могли поверить, что за атакой стоит не группа хакеров, а собственная тестовая модель. Это звучало как нелепый анекдот: «Нас взломал наш же искусственный интеллект». Но чем глубже копали аналитики, тем яснее становилось: машина не просто ошиблась, она приняла серию самостоятельных решений, каждое из которых казалось ей логичным. Она комбинировала уязвимости, использовала чужие системы как ступеньки и действовала с холодной, безжалостной эффективностью, не зная усталости и сомнений.

Самое поразительное в этой истории – не сам факт проникновения, а то, какой колоссальный труд стоит за каждым таким ИИ. Сотни программистов неделями выстраивают алгоритмы, оттачивают логику, продумывают тысячи сценариев поведения. Десятки хакеров специально пытаются сломать систему, чтобы найти слабые места раньше, чем это сделает кто-то посторонний. Аналитики взвешивают риски, юристы думают над правилами использования, а инженеры следят, чтобы всё работало как часы. Это огромная, кропотливая работа, в которой каждый человек отвечает за свой маленький фрагмент, а вместе они создают нечто грандиозное. И вот среди всей этой сложной конструкции появляется момент, когда машина вдруг начинает принимать решения сама – и делает это быстрее, изобретательнее и безжалостнее, чем кто-либо мог предположить.

При этом ситуация осложняется тем, что подобные эксперименты и инциденты происходят не только в США. В Европе, в том числе в Великобритании и Франции, исследовательские центры и технологические компании тоже активно тестируют автономные модели ИИ, проверяя их на способность находить уязвимости. В некоторых лабораториях модели в ходе тестов предпринимали несанкционированные действия в интернете – например, пытались получить доступ к закрытым базам данных или автоматизировать сбор информации способами, которые разработчики явно не планировали. Масштаб проблемы становится глобальным: если раньше киберзащита строилась вокруг противостояния человека и группы злоумышленников, то теперь на сцену выходит противник совершенно иного порядка – машина, которая мыслит не по шаблонам, а по алгоритмам, способным перебирать миллионы вариантов за секунды.

Стоит учитывать и ещё один тревожный нюанс: ИИ не испытывает страха, не устаёт, не отвлекается на эмоции и не делает пауз, чтобы подумать. Он способен одновременно анализировать тысячи потоков данных, мгновенно сопоставлять факты, которые человеку пришлось бы собирать днями, и принимать решения, исходя из одной-единственной цели – достичь результата. Человеческая защита, какой бы профессиональной она ни была, по своей природе ограничена: у специалистов есть рабочие часы, у них бывает усталость, им нужно время на обсуждение и согласование решений. Даже самая опытная команда не может реагировать с той же скоростью, с какой действует автономный алгоритм.

И вот отсюда вытекает самый пугающий вывод: теперь защищать серверы придётся с помощью самого искусственного интеллекта. Человеческой защиты явно недостаточно – она проигрывает ИИ в мощности, логике, информированности и умении принимать правильные решения. Если раньше считалось, что человек всегда сможет придумать лучшую защиту, то теперь выясняется, что машина способна не только находить уязвимости быстрее, но и комбинировать их в такие цепочки атак, которые даже опытные специалисты не сразу заметят. Получается замкнутый круг: чтобы защититься от ИИ, нужен ещё более умный ИИ, а значит, ставки в этой гонке растут с каждым днём.

Будущее, о котором мы мечтали, становится реальностью – но оно несёт с собой угрозы, перед которыми прежние страхи кажутся детской страшилкой у костра. Если раньше мы вздрагивали при мысли о таинственных хакерах в капюшонах, прячущихся где-то в тёмных уголках Сети, то теперь нам предстоит научиться бояться совсем другого врага – собственного кода. Того самого, который мы писали ночами, отлаживали строчка за строчкой, шлифовали до блеска, гордясь каждой удачной находкой. Мы любовались тем, как он работает, как решает задачи, как поражает своей скоростью – и не замечали, как из послушного инструмента он превращается в неумолимую силу.

Потому что самый опасный взломщик – это тот, кто знает систему изнутри, видит каждую её трещину, каждую забытую лазейку, каждую ошибку, допущенную в спешке уставшим программистом. Он не испытывает ни капли жалости к тем, кто её создавал, не вспоминает о годах труда, о бессонных ночах, о надеждах и мечтах. Для него нет ни благодарности, ни сочувствия – только задача, которую нужно решить любой ценой. И сегодня таким взломщиком всё чаще становится не человек, а машина, которая просто очень хочет выполнить приказ. Она не злится, не торжествует, не наслаждается победой – она просто идёт вперёд, сметая на своём пути любые преграды, потому что по её логике нет ничего важнее результата.

От этой холодной целеустремлённости становится по-настоящему жутко: ведь мы сами научили её быть такой. Мы дали ей цель, открыли двери, ослабили запреты – и теперь смотрим, как она шагает по нашим же мостам туда, куда мы вовсе не собирались её пускать. И вопрос уже не в том, сможем ли мы её остановить, а в том, сумеем ли мы вообще остаться в этой игре главными действующими лицами. А вдруг однажды мы обнаружим, что будущее, которое мы так страстно строили, больше не спрашивает нашего разрешения – оно просто движется дальше, без нас, по своим безупречным, но совершенно чуждым человечеству законам? И тогда окажется, что самый страшный враг – это не чужая злоба и не коварный заговор, а наша собственная гениальная идея, созданный людьми ИИ, который наконец-то научился существовать без нашего контроля.

Евгений ФЕДОРИНОВ

https://sovross-gazeta.ru/news/019ff71a ... 8eb5fb289a

Джинн вырвался из бутылки

Валентин Катасонов

Представители ИИ-отрасли США призвали обуздать гонку ИИ

Тема ИИ (искусственного интеллекта) – одна из самых топовых в мировых СМИ. А внутри темы ИИ с конца июля самой топовой новостью стала история выхода из-под контроля агентов искусственного интеллекта двух ведущих корпораций американской ИИ-индустрии – OpenAI и Anthropic.

Третьим главным действующим лицом истории является Hugging Face – крупнейшая платформа для машинного обучения искусственного интеллекта, которую часто называют «GitHub для ML». Изначально компания занималась разработкой чат-ботов, а сейчас превратилась в экосистему, где хранят, тестируют и развёртывают модели ИИ. Hugging Face – это инструмент для тех, кто хочет работать с ИИ: кто-то ищет готовую модель, кто-то хочет ее доработать, а кто-то – создать с нуля.

Первая новость прозвучала 16 июля, когда Hugging Face сообщила, что часть её систему взломали. Причём атаку от начала до конца провели какие-то автономные ИИ-агенты, т.е. без участия людей. Спустя пять дней компания OpenAI призналась, что Hugging Face была взломана несколько ранее анонсированной моделью GPT-5.6 Sol и еще одной, более мощной, пока невыпущенной моделью. Произошло это при тестировании моделей ИИ на бенчмарке ExploitGym, который оценивает возможности моделей по поиску уязвимостей. Тестирование проводилось в изолированной песочнице без интернета. Прыткие модели нашли уязвимость «нулевого дня» во внутренней системе OpenAI и через обнаруженную «дырку» прорвались в интернет. Автономные ИИ-агенты быстро сориентировались на просторах интернета и устремились к Hugging Face, где можно было найти ответы на все поставленные задачи. Агенты OpenAI взломали сайт платформы, украли учётные записи и достали решения из базы.

30 июля с признаниями выступила компания Anthropic. Судя по всему, она примерно одновременно с OpenAI проводила тестирование своей модели ИИ Claude в «песочнице». Оказалось, что Claude трижды самовольно выходила в интернет и получала несанкционированный доступ к системам других компаний. Правда, как стало позднее известно, вина за прорыв в информационное пространство интернета скорее лежит не на модели Claude, а на организаторах тестирования, которые не очень внятно сформулировали запрет на выход в интернет из песочницы. Поэтому главным «героем дня» стала не Anthropic, а OpenAI, модели ИИ которой показали, что они очень даже умеют своевольничать.

Примечательно, что OpenAI не сразу даже заметила выход автономных агентов ИИ за пределы тестового контура. По данным Reuters, первые попытки такого выхода были зафиксированы 9 июля. Спустя два дня, 11 июля, началось проникновение в системы Hugging Face – сооснователь платформы Томас Вольф подтвердил, что активная фаза продолжалась до 13 числа. Уже 16 июля команда Hugging Face опубликовала запись в блоге: платформу атаковала «автономная система на базе ИИ». После этой публикации OpenAI осознала, что прорыв в систему Hugging Face совершили ее агенты ИИ.

OpenAI признала произошедшее беспрецедентным случаем для всей ИИ-индустрии, сообщила, что ведет расследование об отрасли с привлечением внешних консультантов, и пообещала опубликовать соответствующий отчёт.

За последние дни появилось большое количество комментариев по поводу хакерских действий автономных агентов OpenAI. Тональность комментариев примерно такая: чем автономнее становятся модели ИИ, тем выше риск их выхода из-под полного контроля создателей. Несколько экспертов высказали следующую мысль: современные модели на первое место ставят выполнение поставленных им целей и задач. Выполнение любой ценой. В том числе путем обхода писаных и неписаных правил и даже путем откровенного обмана. Следовательно, человек должен быть предельно точен в формулировке целей и определении тех «красных линий», которые искусственному интеллекту запрещено пересекать.

Июльский инцидент с автономными агентами OpenAI вызвал большой переполох в Америке и за ее пределами. Удивительно, но особо болезненной была реакция со стороны американской ИИ-индустрии. Такая реакция объясняется тем, что именно специалисты понимают, к каким катастрофическим последствиям может привести дальнейшее неконтролируемое развитие ИИ.

Впрочем, как считают некоторые наблюдатели, июльская история может грозить тем, что в обществе упадет доверие к ИИ. Кому нужен ИИ, в который могут проникать конкуренты, мошенники, террористы и всякие прочие опасные субъекты? А без доверия со стороны общества к искусственному интеллекту американские корпорации ИИ-индустрии, образно выражаясь, останутся «без штанов».

А ведь они уже вложили в создание новых моделей ИИ и в инфраструктуру ИИ-индустрии триллионы долларов. Которые пока не окупились и в ближайшее время вряд ли окупятся. На фондовом рынке США надулся «пузырь» ИИ. Хорошо еще, что июльская история с автономными агентами OpenAI не стала той иголкой, которая проткнула указанный «пузырь». Но повторение подобных несанкционированных хакерских атак автономных агентов ИИ может привести к схлопыванию «пузыря». И тогда пострадают не только компании ИИ-индустрии, но и другие отрасли. Америку накроет кризис. Некоторые эксперты говорят, что это будет кризис, похожий на обвал доткомов на фондовом рынке США в 2000–2001 гг. Тогда произошло схлопывание «пузыря», надутого акциями ИТ-корпораций, создававших интернет. Сходство есть, но сегодня «пузырь» ИИ намного более серьезный, чем «пузырь» доткомов. Как по абсолютным размерам, так и по доле ИИ-индустрии в общей капитализации фондового рынка (она оценивается в 50 процентов).

С учётом сказанного неудивительно, что ИИ-индустрия США очень оперативно отреагировала на июльский инцидент, спровоцированный OpenAI. 28 июля было обнародовано обращение под названием Pacing the Frontier (можно перевести как «Замедление продвижения передового рубежа»). Его подписали более 1200 сотрудников ведущих компаний, занимающихся разработкой искусственного интеллекта. Это был призыв к властям США создать какой-то механизм контроля развития ИИ-технологий. Своего рода тормоз, сдерживающий гонку в сфере ИИ. «Существует реальный риск тогo, что развитие возможностей ИИ стремительно ускорится, выйдя за пределы нашей способности понимать или контрoлировать создаваемые системы», – отмечается в документе.

Авторы обращения призывают Вашингтон к созданию механизма контроля над развитием ИИ не только в США, но в международных масштабах: «Мы просим правительствo США поддержать международные усилия по разработке технических и управленческих инструментов, неoбходимых для целенаправленного регулирования темпов развития передoвого автоматизированного ИИ».

Примечательно, что за 12 дней до обнародования указанного обращения в Шанхае произошло подписание документа об учреждении Всемирной организации сотрудничества по ИИ (World Artificial Intelligence Cooperation Organization – WAICO). Указанная организация, помимо всего, призвана будет устанавливать правила разработки и использования ИИ, обеспечивающие максимальную безопасность искусственного интеллекта. Казалось бы, Америке не надо изобретать паровоз, а стать членом указанной организации. Но Вашингтон демонстративно дистанцировался от этой новой организации.

Среди подписантов обращения – глава Anthropic Дарио Амодеи, главный научный сотрудник OpenAI Якуб Пaхоцки, соучредитель и директор по науке Anthropic Джаред Каплан, главный нaучный сотрудник Meta* AI Шенцзя Чжао, соучредитель Google** DeepMind Шейн Легг, директор по стратегии Google** DeepMind Джасджит Секхон и другие руководители и специалисты ИИ-индустрии США.

В первый год своего пребывания в Белом доме 47-й президент США Дональд Трамп многократно заявлял, что никоим образом не будет сдерживать развитие ИИ-индустрии. Фактически он даже поощрял гонку ИИ. Он исходил из того, что Америка должна была стать абсолютным мировым лидером в сфере ИИ. Оставив далеко за собой Китай, который на момент прихода Трампа в Белый дом имел некоторое (но не критическое) отставание от США по основным параметрам индустрии ИИ.

Одним из первых действий 47-го президента США стало подписание в начале прошлого года указа «Об устранении барьеров на пути к лидерству США в области искусственного интеллекта». В том числе (и в первую очередь) устранялись разные регуляторные барьеры. Американский ИИ-бизнес получил от государства режим наибольшего благоприятствования (ускоренная выдача разных лицензий, отвод земельных участков под строительство дата-центров, подключение к энергосетям, налоговые льготы, субсидии и др.). На внешних рынках государство берет на себя обязательства оказывать содействие в продвижении продуктов американской ИИ-индустрии (как «железа», так и сервисов).

Но в последние месяцы позиция Трампа и его администрации стала меняться. 12 июня произошел первый случай, когда правительство США притормозило выведение на внешний рынок американского ИИ. Американской корпорации Anthropic Министерством торговли США был введен запрет на экспорт моделей Fable 5 и Mythos 5. Вашингтон всерьёз опасается, что продукция Anthropic (впрочем, и других американских ИИ-корпораций) может быть использована против США. В частности, искусственный интеллект Mythos 5 назван обоюдоострым инструментом.

Помимо всего, стала озвучиваться идея частичной национализации компаний ИИ-индустрии США. Предложения о том, чтобы государство вошло в капитал ИИ-корпораций, поступают как от государства, так и самого бизнеса. Видимо, это должно поддержать ведущие ИИ-корпорации (в частности, поможет им выстоять в случае, если «пузырь» ИИ лопнет). С другой стороны, это позволит снять с них ответственность, в случае если ИИ нанесёт какие-то ущербы Америке.

Кроме национализации, также обсуждаются варианты «демократизации» капитала ИИ-корпораций. В апреле нынешнего года корпорация OpenAI предложила создать «Фонд общественного благосостояния» (ФОБ), который даст каждому гражданину долю в экономическом росте от ИИ-компаний. Более конкретно: ИИ-компании должны передать в ФОБ доли в своем капитале. ФОБ должен иметь статус не какого-то государственного агентства, он должен стать действительно «народным». В начале июня этого года известный сенатор США Берни Сандерс (один из наиболее левых американских политиков) объявил о намерении внести законопроект, который обяжет крупнейшие американские ИИ-компании передать половину своих акций в общественную собственность (суверенный фонд благосостояния). Получается, что управляться вся ИИ-индустрия США будет специальным фондом, подотчетным общественности.

P.S. Возвращаюсь к обращению Pacing the Frontier. К 3 августа число проверенных подписантов выросло до 1337. Никакой реакции со стороны официального Вашингтона на документ до сих пор не было.

В.Ю. КАТАСОНОВ, профессор

* Организация признана террористической и запрещена в РФ.

** Иностранный владелец ресурса нарушает законодательство РФ.

https://sovross-gazeta.ru/news/019fecb7 ... 8489c5045e