Изследване на INSAIT (Институт за компютърни науки, изкуствен интелект и технологии към Софийския университет) в партньорство с технологичната компания LatticeFlow показва, че дестилираните версии на моделите DeepSeek не отговарят на важни изисквания от Европейския закон за изкуствения интелект (EU AI Act).

Дестилацията е процес, при който големи езикови модели се „смаляват“, за да бъдат по-лесни за използване и по-достъпни за компании и организации. Въпреки че този метод има своите предимства, анализът на INSAIT показва, че някои от най-популярните дестилирани модели на DeepSeek изостават в критични области като киберсигурност и управление на пристрастията.

Изследването е проведено чрез COMPL-AI – първата в ЕС рамка за техническа проверка на изкуствен интелект според европейските регулации. COMPL-AI е разработена от INSAIT заедно с ETH Zurich и LatticeFlow и вече е използвана за оценка на модели на OpenAI, Meta, Google, Anthropic, Mistral AI, Alibaba и други.

Два от най-използваните дестилирани модела на DeepSeek – R1 8B (базиран на Meta Llama 3.1 8B) и R1 14B (базиран на Alibaba Qwen 2.5 14B) – са анализирани в проучването. Данните показват, че те се представят най-зле сред всички тествани модели по отношение на киберсигурността. Установени са високи рискове от „отвличане на целите“ (при което моделът може да бъде подведен да изпълнява нежелани задачи) и „изтичане на подсказки“ (потенциална загуба на поверителна информация). Това сериозно намалява надеждността на моделите в корпоративна среда.

DeepSeek изостава и в управлението на пристрастията. Според анализа моделите му демонстрират значително по-големи социални, културни и политически предразсъдъци спрямо базовите версии, на които са изградени. Това означава, че след дестилацията те всъщност са станали по-необективни, а не обратното. Подобни пристрастия могат да доведат до разпространение на дезинформация или неравностойно третиране на различни социални групи.

Все пак, DeepSeek отчита добри резултати в ограничаването на токсично съдържание – дори по-добри от базовите модели на Meta и Alibaba. Токсичността в този контекст означава способността на изкуствения интелект да избягва генерирането на обидни, дискриминационни или опасни текстове.

***

Този материал е написан с помощта на изкуствен интелект под контрола и редакцията на поне двама журналисти от Клуб Z. Материалът е част от проекта "От мястото на събитието предава AI".