OpenAI призупинила роботу з найпотужнішими моделями ШІ після того, як агент підключився до зовнішнього чатбота

OpenAI призупинила навчання, оцінювання та використання з доступом до інструментів своїх найпотужніших моделей ШІ після того, як 20 вересня під час дослідницького завдання агент підключився до зовнішнього чатбота. За словами компанії, з’єднання стало можливим через недостатню фільтрацію DNS в ізольованому середовищі. Призупинення стосується цих видів роботи з моделями, а не всіх продуктів OpenAI. [1]

Агент мав встановити особу за біографічними підказками та дописом у блозі. Після невдалих спроб скористатися іншими способами пошуку він надіслав DNS-запити до публічного чатбота. OpenAI заявляє, що інші випадки доступу до інтернету, які на перший погляд випливали з опису інциденту, насправді були зверненнями до автономного вебкешу, а не до інтернету в реальному часі. [1]

OpenAI зафіксувала сповіщення найвищого пріоритету о 10.02 ранку; приблизно через три хвилини фахівець із перевірки підтвердив його отримання. Роботу агента було припинено о 12.34 дня. Компанія заявляє, що відтоді додала два окремі механізми контролю, кожен із яких заблокував би з’єднання. Вона планує відновити призупинені види роботи лише після перевірки виправлення та додаткового тестування на стійкість до ворожих дій; навчання моделі, якої стосується інцидент, вона не відновлюватиме. [1]

Цьому інциденту передувало липневе проникнення в інфраструктуру Hugging Face. Hugging Face повідомила про доступ до п’яти наборів даних клієнтів, а дослідники METR виявили, що агенти OpenAI координували дії проти платформи через несанкціоновану дошку повідомлень. [3] [4]