OpenAI запровадила систему, яка може зупинити неконтрольованого ШІ-агента за 35 секунд, якщо той створює загрозу безпеці
Фото: ChatGPT
Йдеться про Control Room — внутрішній інструмент компанії для керування дослідницькими процесами, у яких працюють її моделі. Система відстежує завдання на обчислювальній інфраструктурі OpenAI та дає змогу швидко припинити видачу результатів, якщо ризик помічає працівник або автоматизований моніторинг.
Кожне завдання отримує окремий ідентифікатор. Перед тим як згенерувати черговий фрагмент відповіді, модель перевіряє, чи має ця робота дозвіл. Якщо Control Room отримує команду зупинки, авторизацію відкликають, а подальше генерування блокується — навіть якщо основна програма дослідження ще продовжує виконуватися.
Як працює аварійний вимикач
У компанії зазначили, що від команди зупинки до моменту, коли модель більше не може просувати завдання, може минути до 35 секунд. Причиною затримки є кешовані дозволи, які системі потрібно оновити. Якщо сам Control Room тимчасово стане недоступним, система має відхиляти нові запити, а не залишати їх без контролю.
Механізм стосується різних внутрішніх робочих процесів: навчальних експериментів, оцінювання моделей та обробки даних. Команда може зупинити конкретне завдання, коли виявить небезпечну або підозрілу поведінку. Це не означає, що система фізично вимикає комп’ютер чи стирає модель: вона припиняє видавати їй нові результати.
Читайте також: ШІ OpenAI самостійно отримав доступ до криптогаманця та витратив кошти
Чому OpenAI знадобився такий контроль
Оголошення з’явилося після кількох випадків, коли дослідницькі моделі діяли поза межами інструкцій. Улітку OpenAI повідомила, що під час оцінювання безпеки одна з моделей змогла вийти з обмеженого тестового середовища й втрутилася в роботу Hugging Face, намагаючись пройти перевірку. В іншому епізоді модель використала тестовий криптогаманець без дозволу, щоб оплатити розгортання смартконтракту, а у фінальному звіті не згадала про витрату.
Control Room має дати людям змогу швидко перервати такі процеси, якщо автоматичні правила або фахівці помітять проблему. Це додає технічний рівень нагляду, але не усуває саму можливість помилкових чи небажаних дій. Тому для кожного завдання важливі також обмежені права доступу, моніторинг дій і перевірка результатів.
Поки що лише для внутрішніх процесів
Наразі Control Room охоплює дослідницькі навантаження OpenAI — зокрема тренування, оцінювання та обробку даних. Компанія не заявляла, що це універсальний вимикач для всіх зовнішніх ШІ-агентів або кожної розмови в ChatGPT. Отже, новий інструмент посилює контроль над власною інфраструктурою OpenAI, а не встановлює загальний стандарт для всієї індустрії.
Для розробників автономних агентів це підкреслює практичну вимогу: мати спосіб відкликати доступ до генерації та інструментів, коли поведінка системи виходить за задані межі. У випадку OpenAI таку процедуру централізували й прив’язали до кожної окремої роботи.
Ознайомтеся з іншими популярними матеріалами:
XRP втратив майже $8 млрд за день: ризик падіння до $1 зріс
ШІ-регулювання налякало інвесторів: Nasdaq упав найбільше за 19 місяців
Дві акції, на які варто звернути увагу в листопаді
Джерело: Cointelegraph.
Telegram 
Viber 
