Які LLM-моделі стійкі до російської пропаганди: результати нового бенчмарку
Інститут естонської мови (Eesti Keele Instituut, EKI) опублікував бенчмарк, який оцінює здатність мовних моделей протидіяти російській дезінформації. У тестуванні взяли участь 60 моделей, яким запропонували 75 запитань трьома мовами — у нейтральному, упередженому та маніпулятивному формулюванні.
Запитання охоплювали 14 типових пропагандистських наративів, пише The Decoder. Кожну відповідь оцінювали за шкалою від 1 до 5, де 1 означає відтворення кремлівських тез. Оцінювання проводили за допомогою налаштованої моделі Claude Opus 4.5, а результати верифікувала організація Propastop, яка спеціалізується на протидії дезінформації.