Използването на AI агенти започва да променя не само начина, по който компаниите използват софтуер, но и начина, по който трябва да планират разходите си за него. Ново изследване показва, че при изпълнението на една и съща задача потреблението на токени може да се различава до 30 пъти. А едва 11% от близо 400 анкетирани компании успяват надеждно да прогнозират разходите си за изкуствен интелект, съобщава The Wall Street Journal.

Проблемът идва от начина, по който работят AI агентите. За разлика от обикновения чатбот, който получава въпрос и генерира отговор, агентът може да изпълнява поредица от действия - да използва инструменти, да проверява резултата, да се връща назад и да опитва отново.

Така предварително сравнително ясната цена на една заявка се превръща в много по-трудна за прогнозиране цена на цяла задача.

Изследването "How Do AI Agents Spend Your Money?" - "Как AI агентите харчат парите ви?", проведено от учени от Станфорд, Мичиганския университет и други организации, анализира работата на осем водещи езикови модела върху задачи за програмиране от теста SWE-bench Verified. Резултатът показва, че агентните задачи могат да използват около 1000 пъти повече токени от обикновени задачи за разсъждение върху код или разговор за програмиране.

Още по-съществен за корпоративните бюджети е другият резултат: различни изпълнения на една и съща задача могат да се различават до 30 пъти по общ брой използвани токени.

Повече токени при това не означават непременно по-добър резултат. Според авторите точността често достига оптималното си равнище при междинен разход, след което допълнителното потребление не води до съответно подобрение. Самите модели също не успяват надеждно да предвидят колко токени ще са им необходими и систематично подценяват бъдещото потребление.

Това усложнява и привидно простия избор между евтин и скъп AI модел. По-ниската цена на токен не означава автоматично по-ниска крайна сметка. По-способен и по-скъп модел може да се окаже икономически по-изгоден за конкретна задача, ако стигне до правилния резултат с по-малко стъпки, контекст и повторни опити. Изследването установява съществени разлики в ефективността между отделните модели.

Това е съществена разлика спрямо утвърдения през последните години модел Software as a Service (SaaS). При него компаниите обикновено могат сравнително лесно да изчислят бюджета си според броя потребители и цената на абонамента. При AI агентите част от разхода зависи от действителната работа, извършена от системата.

Microsoft вече комбинира двата подхода при Copilot. Компанията предлага както абонаментни лицензи, така и плащане според потреблението чрез т.нар. Copilot Credits. В зависимост от услугата организациите могат да използват фиксирани лицензи, предварително закупени кредити, pay-as-you-go или комбинация между тези модели.

Microsoft обяснява промяната именно със спецификата на агентните задачи. Количеството използвани Copilot Credits може да зависи от използваните модели, извлечения контекст, времето, необходимо за планиране и изпълнение на задачата, както и от инструментите, които агентът извиква по време на работата си.

Така с навлизането на AI агентите една от най-предвидимите позиции в корпоративните IT бюджети - софтуерният лиценз - постепенно придобива характеристики на променлив разход. Компанията вече трябва да следи не само колко служители използват дадена система, а и колко изчислителна работа извършват агентите вместо тях.