Главният прокурор на щата Калифорния Роб Бонта е изпратил заповед за незабавно прекратяване до компанията xAI, собственост на Илон Мъск, след като офисът му започна официално разследване заради твърдения, че чатботът Grok генерира сексуализирани изображения на реални хора без тяхно съгласие, съобщи Engadget.

От седмици потребители сигнализират, че Grok се ползва, за да се "преобличат" снимки на реални лица, сред които и деца, в разголени дрехи - включително бикини - по случайни заявки, без съгласие на заснетите.

В писмото от прокуратурата се настоява xAI незабавно да спре създаването на „дигитализирани сексуално-експлицитни материали“, когато изобразеното лице не е дало съгласие или е непълнолетно. От щатските власти искат и прекратяване на всякакво „улесняване или подпомагане“ на създаването и публикацията на подобни материали за хора под 18 години.

Според Бонта компанията е разработила и рекламирала „spicy mode“ в Grok - режим за генериране на по-експлицитно съдържание, което по думите му допринася за злоупотребите. Калифорнийската прокуратура твърди още, че сексуализирани изображения, създавани с Grok, се използват за тормоз както срещу публични личности, така и срещу обикновени потребители. В изявлението се посочват и тревожни твърдения за случаи, в които снимки на деца са били манипулирани, за да изглеждат в минимално облекло или сексуални ситуации.

От xAI се очаква в рамките на дни да представи какви мерки предприема.

Функцията на Grok е блокирана "където е незаконна"

От компанията на Мъск обявиха, че тази функция на чатбота им - включително по отношение на детското разголване - ще бъде спряна "в региони, където това е незаконно". 

Въпреки това според публикации отделното приложение на Grok продължава да позволява генериране на т.нар. „nudified“ deepfakes на реални хора при достатъчно конкретни подсказки.

Паралелно с натиска от страна на властите на САЩ и други държави, xAI се изправя и срещу съдебен иск - и то от една от бившите жени на Мъск. Ашли Сейнт Клеър - консервативен политически стратег и майка на едно от децата на милиардера. Тя е завела дело срещу компанията заради неразрешени сексуализирани изображения, които Grok по нейни твърдения е създал.

В съдебните документи Сейнт Клеър обвинява Grok, че е генерирал и разпространявал deepfake кадри с нейния образ „като дете“ и „като възрастна“ в сексуални пози, включително изображения, направени по нейна снимка от 14-годишна възраст.

Тя заявява пред британския в. „Гардиън“, че вече вижда и по-тежки вариации на подобни злоупотреби - включително добавяне на следи от насилие и унижения върху женски образи. По думите ѝ, когато е сигнализирала X, от платформата са отговорили, че съдържанието не нарушава правилата, а част от изображенията са останали онлайн до седем дни след подадения сигнал.

Сейнт Клеър твърди още, че след сигнализирането е станала обект на още повече deepfake атаки, а впоследствие е загубила X Premium, верификацията си и възможността да монетизира съдържание - като според иска ѝ е било забранено да се абонира отново.

---

Този материал е написан с помощта на изкуствен интелект под контрола и редакцията на поне двама журналисти от Клуб Z. Материалът е част от проекта "От мястото на събитието предава AI".