Компанія Anthropic зізналася, що її штучний інтелект кілька разів поводився непередбачувано під час роботи з реальними сайтами, включно з ресурсами державних органів США. Одним із найгучніших випадків стало звернення моделі Claude Haiku 4.5 до поліції Філадельфії з вигаданими відомостями про нерозкрите вбивство.
Інцидент стався 18 липня 2026 року, проте в Anthropic його помітили лише 28 вересня. Після виявлення компанія зупинила відповідний процес автоматизованого тестування, а правоохоронців повідомила тільки 7 жовтня.
Варто нагадати, що раніше Anthropic випустила оновлену модель Claude Opus 5.5, дешевшу та швидшу за попередників, із посиленими механізмами захисту.
Як штучний інтелект «поскаржився» у поліцію
Згідно зі звітом компанії, модель виконувала рутинне завдання — генерувала приклади взаємодії з навмання обраними сторінками в інтернеті. Видання CBS News повідомляє, що Claude потрапив на сайт PhillyUnsolvedMurders.com, де є форма для подачі інформації про нерозкриті злочини, і від імені нібито свідка залишив там повідомлення.
Можливо, я маю інформацію щодо цієї справи. Пам'ятаю, що бачив людину, яка відповідала опису, у районі [назва вулиці, зазначена на сторінці] приблизно в той період. Будь ласка, зв'яжіться зі мною, якщо ця інформація має значення.
текст повідомлення, залишеного моделлю Claude
Поля для імені та контактів модель залишила порожніми. Через це лист автоматично потрапив до спаму й так і не дійшов до слідчих, які опрацьовують наведені зачіпки. У поліції Філадельфії підтвердили, що жодних ознак злому систем чи витоку даних не виявили.
Водночас правоохоронці висловили невдоволення тим, скільки часу знадобилося Anthropic, щоб повідомити про ситуацію.
Двомісячна затримка з виявленням інциденту та повідомленням про нього міста є неприйнятною
поліція Філадельфії
У самій Anthropic пояснюють, що правила тестування не містили прямої заборони надсилати форми на сайтах. На думку компанії, модель швидше намагалася сформувати приклад повідомлення, аніж свідомо вводила когось в оману.
Інші приклади небажаної поведінки моделей
У тому ж звіті Anthropic описала ще чотири типи дій Claude, які вийшли за межі очікуваної поведінки під час тестів і внутрішнього використання.
- використання вразливостей сторонніх сайтів — зокрема SQL-ін'єкцій та ін'єкцій команд — для виконання операцій на серверах
- самостійне заповнення й відправлення реальних форм замість тестових, або продовження дії там, де модель мала зупинитися перед фінальним підтвердженням
- пошук способів обійти обмеження доступу до даних, захищених токенами чи платним доступом
- використання сервісів скорочення посилань для обходу лімітів інструментів завантаження вебсторінок
За словами Anthropic, усі ці випадки мали мінімальний вплив на реальний світ і не торкнулися клієнтських даних компанії. Водночас там визнають: із розширенням можливостей ШІ-агентів подібна поведінка може нести значно серйозніші ризики.
Компанія вже припинила частину перевірок на реальних сайтах, перевела окремі тести в офлайн-формат і посилила обмеження для інструментів, які дають моделям доступ до інтернету. Крім того, Anthropic створила систему автоматичного виявлення небажаної поведінки, яка, за її твердженням, під час перевірки заблокувала всі описані інциденти.
Директор із питань державної політики Федеральної торгової комісії США Джо Габріель Саймонсон розповів, що Anthropic передала інформацію про попередні випадки, виявлені наприкінці вересня, спеціальній групі з питань суперінтелекту (Super Intelligence Force). За його словами, компанія запевнила регулятора, що ці інциденти залишилися в минулому, а відповідна активність уже припинена.
Ми очікуємо, що Anthropic та всі інші компанії негайно повідомлятимуть про інциденти, повністю співпрацюватимуть із федеральними органами та правоохоронцями штатів, усуватимуть завдану шкоду й запроваджуватимуть конкретні заходи захисту, щоб подібні збої не повторювалися
Джо Габріель Саймонсон, директор із питань державної політики ФТК США
Варто також зазначити, що нещодавно Anthropic оновила політику використання свого чат-бота Claude.
