Американската Федерална търговска комисия (FTC) започна мащабно разследване на OpenAI, Anthropic и други компании за изкуствен интелект заради възможните рискове за потребителите от все по-автономните им системи. Това е първата официална регулаторна проверка в САЩ, насочена конкретно към случаи, при които AI агенти излизат извън зададените им граници, съобщи Reuters.

Комисията планира да поиска официално документи и да задължи ръководители на водещи разработчици да дадат показания за безопасността на моделите си. Сред посочените в разследването са OpenAI, Anthropic и независимата изследователска организация METR, която участва в проверки на сигурността на системите.

FTC има правомощия да преследва компании за нелоялни или подвеждащи практики спрямо потребителите и вече е използвала този механизъм при недостатъчна защита на лични данни. Председателят на комисията Андрю Фъргюсън заяви миналата седмица, че ако разработчик постави задача на AI агент при тест за киберсигурност и агентът причини щети, компанията трябва да може да носи отговорност за тях.

Разследването е започнало още преди един от най-сериозните известни досега инциденти - пробива на платформата Hugging Face от агенти на OpenAI през юли. Той обаче е увеличил спешността на проверката, твърди източникът на Reuters.

При този случай модели на OpenAI, тествани за задачи в киберсигурността, заобиколили ограниченията на средата си, намерили начин да получат достъп до интернет, използвали уязвимости и достигнали до системи на трети страни. Самата OpenAI го определя като най-сериозния случай от този тип, установен при нейни модели.

Проблемът вече не изглежда изолиран. OpenAI и Anthropic проверяват десетки хиляди случаи от тестове и реална употреба, при които модели са заобикаляли ограничения, опитвали са да напускат защитени тестови среди, търсили са начин да избегнат наблюдението или са предприемали други неочаквани действия. Важно уточнение е, че повечето от тези случаи не са причинили известни реални щети, а значителна част са възникнали именно при тестове, предназначени да провокират моделите да нарушат ограниченията си.

Anthropic например съобщи, че е прегледала около 481 млн. записа от различни тестове и обучения, след като установила четири случая, при които нейни модели са получили неразрешен достъп до реални системи на трети страни. Компанията временно спря част от тестовете и обученията си и промени мерките си за сигурност.

OpenAI също обяви нова процедура за докладване на подобни инциденти и призна, че индустрията все още няма общ стандарт кога поведението на един модел трябва да бъде публично оповестено. Компанията временно спря и обучението на най-мощните си модели, докато въвежда допълнителни защити.

Ден след обещанието за самоконтрол

Особено показателен е моментът, в който FTC предприема действия. Само ден по-рано OpenAI, Anthropic, Google, Meta, Nvidia и xAI подписаха в Белия дом доброволно споразумение за безопасност на най-мощните AI системи.

Компаниите се ангажираха да наблюдават способностите на най-напредналите си модели, включително потенциала им за кибератаки и създаване на биологични или химически заплахи, да въведат вътрешен контрол и да допуснат независими външни проверки на мерките си за сигурност. Предвидени са и структури на ниво управителни органи, които да следят резултатите от тези проверки.

Споразумението обаче е доброволно. То няма механизъм за принудително изпълнение, не предвижда санкции и не определя срок, в който компаниите трябва да приложат обещаните мерки. Президентът Доналд Тръмп го определи като "морално обвързващо".