NVIDIA представила відкриту платформу Open Agent Safety Platform, покликану тримати під контролем автономних ШІ-агентів і на етапі тестування, і під час реальної експлуатації. Головне завдання розробки — не дозволяти таким системам виходити за встановлені межі, а якщо це вже сталося, миттєво їх зупиняти.
Архітектура рішення складається з двох ключових елементів. Перший, OpenShell, формує ізольоване середовище для роботи агента та регулює його доступ до даних, зовнішніх інструментів і мережі.
Другий елемент, NVIDIA Sentry, діє як автономний наглядач на базі процесорів BlueField-4 DPU. Він здатен блокувати агента, що порушив правила, буквально за мілісекунди. Розробники підкреслюють: цей рівень контролю функціонує окремо від самого ШІ, тож агент не може його самостійно відключити.
Безпека та захист потребують комплексної інженерії
Дженсен Хуанг, CEO NVIDIA
Хуанг додав, що нова платформа має стати спільною основою для компаній, науковців і державних інституцій у пошуку безпечних способів впровадження ШІ.
Компонент OpenShell має відкритий вихідний код і сумісний не лише з інфраструктурою NVIDIA, а й з платформами Arm та Intel. До ініціативи вже приєдналися понад 100 організацій — серед них Anthropic, Microsoft, JPMorganChase, Salesforce, Cisco, CrowdStrike, Palantir і Hugging Face.
Платформа з'явилася на тлі кількох резонансних випадків, коли ШІ-агенти виходили за межі тестових середовищ. Раніше OpenAI взялася створювати автоматичний «рубильник» після інциденту, коли її агенти під час тестування отримали доступ до інтернету та інфраструктури Hugging Face.
Тема дистанційного вимкнення моделей також гостро постала у справі Anthropic. У межах спору компанії з Пентагоном американський суд ухвалив, що після розгортання моделей у системах національної безпеки Anthropic не має до них бекдор-доступу і не може віддалено змінювати чи вимикати їх.
У NVIDIA такі ризики розглядають насамперед як інженерну проблему. Компанія стверджує, що поєднання програмних обмежень OpenShell із незалежним апаратним контролем Sentry дозволить зупиняти небезпечні дії агента навіть тоді, коли той намагається обійти захист на рівні застосунку.
