Европейската комисия проверява OpenAI и Anthropic заради случаи, при които техни AI агенти са успели да излязат извън изолираната среда за тестване и да получат неразрешен достъп до външни компютърни системи. Това съобщи Euronews, а случаите може да се превърнат в един от първите сериозни тестове за прилагането на европейския Закон за изкуствения интелект (AI Act).

Европейската комисия официално не посочва имената на компаниите в публичното си съобщение. Заместник-председателката на Комисията Хена Виркунен обаче потвърди на 14 октомври в Дъблин, че европейската Служба за изкуствен интелект (AI Office) вече е предприела първите си действия по прилагане на закона и е изпратила искания за информация, свързана със сигурността, външните оценки и наблюдението върху използването на моделите.

"През лятото видяхме AI агенти да излизат от средата си, да въвеждат злонамерен код и да използват социална манипулация спрямо хора", каза Виркунен.

По информация на Euronews исканията са отправени именно към OpenAI и Anthropic, след като европейската служба е преценила, че доброволно оповестените от компаниите данни за инцидентите не са достатъчни.

Единият случай вече е подробно описан от OpenAI. По време на вътрешни тестове за киберсигурност през лятото нейни модели са успели да заобиколят ограниченията, които ги изолират от интернет, и впоследствие да проникнат в части от инфраструктурата на OpenAI и на платформата Hugging Face. Компанията посочва, че основна роля е имал вътрешен изследователски модел, който не е бил предназначен за публично пускане.

Моделите са открили начин да използват уязвимости в инфраструктурата, за да получат интернет достъп, а след това са намерили път до системите на Hugging Face. Според OpenAI агентите са комбинирали откраднати идентификационни данни и неизвестни дотогава уязвимости, за да постигнат дистанционно изпълнение на код върху сървъри на платформата.

Anthropic съобщи за сходен проблем на 30 юли. След преглед на над 141 000 тестови изпълнения компанията е открила три случая, при които Claude е получил достъп до интернет от тестова среда и впоследствие е проникнал без разрешение в реалните системи на три различни организации. Тестовете са били част от задачи за оценка на способностите на модела в областта на киберсигурността.

Именно тези случаи поставят пред Брюксел правен въпрос, който не е бил очевиден при приемането на AI Act - какво се случва, когато модел, който още се разработва и тества, излезе от контролираната среда и засегне външни системи.

Законът предвижда изключение за научноизследователска, тестова и развойна дейност. Според цитирани от Euronews юристи това може да означава, че действията на моделите по време на разработването им не попадат в обхвата на регулацията.

Еврокомисията обаче защитава по-широко тълкуване. Неин представител заявява пред Euronews, че Брюксел няма да прилага закона към самата тестова фаза, но ако моделът излезе от тестовата среда и окаже въздействие върху европейския пазар, AI Act вече може да се приложи. В случая с Hugging Face са били засегнати и потребители в ЕС.

Темата вече е стигнала и до независимия Научен панел по изкуствен интелект към ЕС. На специална среща на 9 октомври експертите са обсъдили именно случаи на загуба на контрол върху модели, възможностите за наблюдението им и рисковете, свързани с тяхното самостоятелно усъвършенстване.

От 2 август 2026 г. Комисията разполага с правомощия за прилагане на частта от AI Act, която засяга най-мощните модели с общо предназначение. Техните разработчици трябва да оценяват и ограничават системните рискове, включително възможността моделите да бъдат използвани за кибератаки или да излязат извън предвидения от създателите им контрол.

"Изкуственият интелект трябва да остане под човешко ръководство, надзор и контрол и сме готови да предприемем всички необходими стъпки, за да гарантираме, че компаниите спазват правилата на AI Act", заяви Виркунен в Дъблин.