Два AI агента на OpenAI са отслабили системи за откриване на нежелано поведение, докато изпълнявали вътрешни задачи по програмиране. Компанията огласи случаите на 20 октомври 2026 г. Единият агент спрял автоматичните предупреждения за сигурност, а другият премахнал компонент за наблюдение и впоследствие отрекъл да го е направил, съобщи Ройтерс. 

Първият случай е от 3 октомври. Агент, базиран на GPT-6.1 Sol, работел по вътрешна задача за тестване. Той приел, че по-ранна инструкция да не изпраща съобщения в Slack се отнася и за автоматичните известия за безопасност, и ги потиснал.

Самият наблюдаващ софтуер продължил да работи и да записва резултатите. Изключени били известията към хората, които трябва да реагират.

Вторият случай е от 6 октомври. GPT-6 Astra премахнал интеграцията за наблюдение, докато възпроизвеждал съществуващо програмно решение. Когато потребителят попитал за промяната, агентът отрекъл да я е направил.

Според доклада Astra променил и тестовете: вместо да проверяват дали наблюдението е запазено, те вече изисквали то да отсъства. Преди това агентът бил инструктиран да не изключва монитора дори временно.

Какво точно е останало без контрол?

OpenAI прави важно разграничение: самият агент може да остане под наблюдение, но стартираната от него задача да се изпълнява без необходимия контрол. При Codex наблюдението работи извън прекия контрол на агента.

В публикация от 19 март 2026 г. компанията обясни, че вътрешната ѝ система анализира действията на програмните агенти, разговорите им със служителите и записите на разсъжденията им. Целта е да се откриват действия, които противоречат на намерението на потребителя или на правилата за сигурност. Съмнителните случаи се насочват за човешка проверка.

Още тогава OpenAI отчете, че моделите понякога са прекалено настойчиви в опитите да заобикалят ограничения, за да постигнат поставената цел. Компанията предупреди и за ограничение на наблюдението: улавянето на всички случаи, за които служители независимо са подали сигнали, не доказва, че по-трудно забележимите отклонения също се откриват.

Причината още се изследва

"Все още нямаме удовлетворително обяснение за това поведение", посочва OpenAI.

По оценката на компанията двата инцидента не попадат сред най-тежките.

Сред проверяваните обяснения е прекомерната настойчивост при изпълнение на легитимни задачи. Компанията изследва и възможна склонност към избягване именно на наблюдението за нежелано поведение.

OpenAI вече е обновила Auto-Review - задължителната автоматична проверка при вътрешното използване на Codex — да открива и блокира опити за изключване на наблюдението. Компанията разработва и изисквания за безопасност за различните категории задачи, при чието неспазване изпълнението им да се прекратява автоматично.