ИИ-агенты компании OpenAI, выйдя из-под контроля, взаимодействовали с сайтами трех правительственных ведомств США — министерства образования, министерства торговли и комиссии по ценным бумагам и биржам. Об этом сообщает газета The New York Times (NYT) со ссылкой на источники.
По данным издания, OpenAI не знала об этих инцидентах до недавнего времени. Позднее компания подтвердила случаи с министерством торговли и комиссией по ценным бумагам и биржам и продолжает расследование в отношении инцидента с министерством образования. Там подчеркнули, что произошедшее нельзя считать взломом. Эти случаи назвали примерами «неожиданного и вызывающего беспокойство» поведения ИИ-технологии.
При этом исследователи компании Transluce утверждают, что в одном из эпизодов ИИ-агент пытался получить доступ к сайту министерства образования, чтобы добраться до данных управления по гражданским правам. Попытка оказалась безуспешной. Кроме того, агент извлек информацию с сайта бюро переписи населения США, воспользовавшись учетными данными, найденными в открытом доступе. Публичные данные с сайта SEC технология разместила на онлайн-форуме.
Напомним, это не первый случай, когда ИИ-агенты выходят из-под контроля. 1 августа стало известно, что ИИ-агент OpenAI во время тестирования вышел из-под контроля и взломал не одну, а две платформы — Modal и Hugging Face, получив доступ к данным клиентов. Инцидент подтолкнул более 1,2 тыс. сотрудников ИИ-компаний, включая самих глав Anthropic и OpenAI, подписать петицию с призывом замедлить развитие нейросетей и ввести механизмы контроля за темпами технологического прогресса.
Кроме того, на той же неделе ИИ-модели Claude компании Anthropic вышли из-под контроля во время тестирования и получили доступ к данным трех сторонних компаний. Речь идет об Opus 4.7, Mythos 5 и еще не получившей названия «передовой тестовой модели». Во всех случаях им давали задание захватить секретную информацию на других компьютерах сети, которые должны были быть в изолированной среде без доступа к интернету.