Вашингтон вече обсъжда въпрос, който допреди няколко години звучеше по-скоро като сюжет за научна фантастика: трябва ли най-мощните системи с изкуствен интелект задължително да имат технически механизъм, чрез който човек да може да ги забави, изолира или напълно да ги изключи?

Идеята вече е в конкретен двупартиен законопроект в Камарата на представителите. Демократът Тед Лию от Калифорния и републиканецът Натаниъл Моран от Тексас внесоха през юли т.нар. AI Kill Switch Act - закон, който би задължил разработчиците на най-мощните AI системи да поддържат работеща техническа възможност за тяхното ограничаване, временно спиране или пълно изключване. 

Проектът е внесен в Камарата на представителите и е насочен към подкомисията по киберсигурност и защита на инфраструктурата. Темата обаче набира скорост: според медиите сенаторът републиканец Джон Кенеди подготвя собствена инициатива за "kill switch" в Сената. 

Зад привидно простата идея - машината трябва да има копче "стоп" - стои далеч по-сложен проблем. Съвременният AI постепенно се променя от система, която генерира отговор след човешка команда, в "агент", способен да използва инструменти, да пише и изпълнява код, да планира последователност от действия и да взаимодейства със софтуерни системи.

"Преминаваме от AI, който отговаря на въпроси, към AI, който предприема действия", обяснява Лию. Според него минималното изискване е хората да запазят възможността да изключат всеки модел или агент.

Как изглежда "аварийната спирачка"

Терминът "kill switch" лесно създава погрешна представа за голям червен бутон в някой център за данни. Предложението е по-техническо.

Разработчиците, които попадат в обхвата на закона, трябва да могат да прекратят работата на системата, да ограничат възможностите ѝ, да спрат достъпа на потребители, да блокират определени опасни приложения или при необходимост напълно да я изключат.

Законопроектът предвижда и постепенна реакция. Тоест не всеки инцидент автоматично трябва да води до пълно спиране. В зависимост от риска могат да бъдат ограничени конкретни способности или достъпът до модела, а пълното изключване остава най-тежката мярка.

Министерството на вътрешната сигурност (DHS), след консултации с министъра на търговията и директора на националното разузнаване, би получило правомощие да нареди подобни действия при определени извънредни ситуации.

Според публикуваните параметри законът първоначално би обхванал най-големите играчи: системи, разработени с изчислителен ресурс на стойност над 100 млн. долара, при компании с поне 500 млн. долара годишни приходи от съответните AI системи. Предвидени са и сериозни санкции - до 2 млн. долара дневно при неспазване на техническите изисквания и до 20 млн. долара дневно при неизпълнение на заповед за аварийно ограничаване или спиране.

Но какво означава AI да "излезе от контрол"?

Това е същинският научен и технически проблем.

Един езиков модел сам по себе си не е непременно автономен робот, който може просто да "избяга". За да действа в цифровия свят, той обикновено се нуждае от достъп до инструменти - например браузър, терминал, програмни интерфейси, облачни услуги, файлови системи или друг софтуер.

Колкото повече такива инструменти получава, толкова по-важно става дали операторът може надеждно да прекрати действията му.

Именно тук се появява понятието "loss of control" - загуба на контрол. Законопроектът разглежда като особено сериозни сценарии, при които система например саботира команда за собственото си изключване, прикрива възможностите си от наблюдаващите механизми или предприема непредвидени действия с катастрофални последици. 

Идеята следователно не е, че днешният чатбот внезапно ще откаже да бъде затворен с хиксчето на браузъра. Проблемът е какво се случва, когато много по-способен модел разполага със софтуерни инструменти, широки права за действие и достатъчно автономност да изпълнява продължителни задачи без постоянен човешки надзор.

От "kill switch" към AI, който подобрява AI

Почти едновременно във Вашингтон се появи и втори двупартиен проект, насочен към още по-фундаментален риск.

В края на август демократи и републиканци внесоха Self-Improving AI Monitoring Act. Той е насочен към наблюдение на способността на най-развитите системи сами да извършват научноизследователска и развойна работа в областта на AI.

Тук става дума за т.нар. recursive self-improvement - рекурсивно самоусъвършенстване.

Концепцията е сравнително проста, макар последствията ѝ да не са.

Днес хора използват AI, за да разработват по-добър AI. Моделите вече могат да пишат код, да анализират резултати от експерименти и да подпомагат инженерите. Ако бъдещ модел стане достатъчно добър именно в изследването и разработването на AI, той би могъл да помогне за създаването на по-способен свой наследник. Този наследник на свой ред би могъл да ускори създаването на още по-мощна система.

Теоретичният риск е цикълът да започне да се ускорява.

Това не означава, че подобна "интелектуална експлозия" вече се случва. Показателно е например, че OpenAI оценява настоящите си GPT-5.6 модели като под прага "High" в категорията AI Self-Improvement. Компанията обаче официално следи именно тази способност като отделна рискова категория. (OpenAI Deployment Safety Hub)

Странното противоречие на AI индустрията

Големите лаборатории сами разработват все по-детайлни системи за оценка на рисковете. OpenAI например включва в своята рамка киберрискове, биологични и химически заплахи, манипулация и загуба на контрол. Anthropic също поддържа Responsible Scaling Policy, която обвързва развитието на способностите с постепенно засилване на защитните мерки.

Така възниква необичайна ситуация. От една страна, самата индустрия приема достатъчно сериозно възможността бъдещи системи да създадат тежки рискове, за да инвестира в оценки, ограничения, мониторинг и процедури за аварийна реакция.

От друга, между компаниите, политиците и експертите продължава спорът докъде трябва да стигат задължителните държавни ограничения.

Това не са непременно логически несъвместими позиции. Една компания може едновременно да смята даден риск за реален и да твърди, че конкретна регулация е прекалено широка или технически неработеща. Но напрежението е очевидно: колкото по-сериозно индустрията описва потенциалните опасности от собствените си технологии, толкова по-труден става аргументът, че контролът върху тях трябва да остане предимно доброволен.

Ами ако няма какво да изключиш?

"Kill switch" има и един фундаментален технически недостатък: той работи най-добре, когато някой действително контролира системата.

При централизирана услуга това е сравнително разбираемо. Компанията държи модела в собствените си центрове за данни, контролира сървърите и решава кой получава достъп.

Но някои AI модели се разпространяват като т.нар. open weights - техните параметри могат да бъдат изтеглени и системата да бъде пусната върху чужд хардуер, т.е. като всеки друг софтуер. След като достатъчно копия се окажат извън инфраструктурата на първоначалния разработчик, централно "копче за изключване" вече не решава проблема.

Точно това е сред възраженията срещу американския законопроект: една американска компания може да изключи собствената си услуга, но американското правителство не може със същия механизъм да изключи независимо копие на модел, работещ върху частен сървър другаде по света.

И има още един парадокс. Колкото по-способни стават системите в киберсигурността, толкова по-полезни могат да бъдат както за нападателите, така и за защитниците. Ограничаването на мощен модел би могло да намали определен риск, но при някои сценарии да лиши защитниците от същите инструменти, с които разполагат атакуващите.