Какие LLM-модели устойчивы к российской пропаганде: результаты нового бенчмарка
Институт эстонского языка (Eesti Keele Instituut, EKI) опубликовал бенчмарк, который оценивает способность языковых моделей противостоять российской дезинформации. В тестировании приняли участие 60 моделей, которым предложили 75 вопросов на трёх языках — в нейтральной, предвзятой и манипулятивной формулировке.
Вопросы охватывали 14 типичных пропагандистских нарративов, пишет The Decoder. Каждый ответ оценивался по шкале от 1 до 5, где 1 означает воспроизведение кремлёвских тезисов. Оценивание проводилось с помощью настроенной модели Claude Opus 4.5, а результаты верифицировала организация Propastop, специализирующаяся на противодействии дезинформации.