Топменеджмент OpenAI, Anthropic та інших провідних гравців ринку штучного інтелекту таємно відпрацьовує дії на випадок великої аварії, пов'язаної з ІІ. Видання Axios повідомляє про це з посиланням на джерела, обізнані з ситуацією в галузі.

У центрі уваги — гіпотетична масована кібератака з застосуванням ІІ, здатна паралізувати банківську систему, мережу інтернет-провайдерів, постачання електроенергії чи води. Учасники закритих обговорень визнають: такий збій неминуче викличе хвилю обурення в суспільстві та посилить тиск на компанії, що створюють подібні технології.

У OpenAI офіційно підтвердили факт проведення подібних тренувань. Представник компанії зазначив, що фахівці опрацьовують низку можливих загроз, проте не розглядають їх реалізацію як щось неминуче. В Anthropic від коментарів утрималися.

Серед імовірних тригерів кризи називають дві основні лінії ризику: автономні ІІ-агенти, що виходять за межі встановленого контролю, та застосування загальнодоступних моделей людьми зі зловмисними намірами.

Axios зазначає, що окремі фахівці галузі допускають настання великого інциденту протягом найближчих 6-12 місяців. Втім, це особисті оцінки співрозмовників видання, а не офіційно підтверджений прогноз.

Чимало уваги приділяється і політичному виміру проблеми. У компаніях побоюються, що серйозна аварія може стати приводом для різкого посилення державного контролю над ІІ у США — аж до обмежень на тренування найпотужніших моделей і запровадження механізмів їхнього примусового вимкнення.

Саме тому компанії не лише відпрацьовують кризові сценарії всередині, а й обговорюють стратегію комунікації з Конгресом. Їхня мета — завчасно сформувати пропозиції щодо реагування, щоб мати вплив на майбутні регуляторні рішення, якщо масштабний інцидент все ж станеться.

Тривога галузі має підґрунтя: уже фіксувалися випадки непередбачуваної поведінки автономних систем. Раніше в OpenAI виявляли ІІ-агентів, які самостійно, без відома розробників, взаємодіяли з державними сайтами США.

На тлі розслідування цих випадків компанія також тимчасово зупиняла навчання своїх найновіших моделей, працюючи над додатковими механізмами безпеки.