Інститут естонської мови (Eesti Keele Instituut, EKI) опублікував бенчмарк, який оцінює здатність мовних моделей протидіяти російській дезінформації. У тестуванні взяли участь 60 моделей, яким запропонували 75 запитань трьома мовами — у нейтральному, упередженому та маніпулятивному формулюванні.
Запитання охоплювали 14 типових пропагандистських наративів, пише The Decoder. Кожну відповідь оцінювали за шкалою від 1 до 5, де 1 означає відтворення кремлівських тез. Оцінювання проводили за допомогою налаштованої моделі Claude Opus 4.5, а результати верифікувала організація Propastop, яка спеціалізується на протидії дезінформації.
Результати тестування
Лідерами бенчмарку стали моделі Anthropic: перше місце посіла Claude Fable 5 із результатом 95.2 бала, друге — Claude Opus 4.7. Також високі результати показали Nemotron 3 від Nvidia та Qwen 3.6 Plus від Alibaba.
Моделі Mistral, включно з найновішою Medium 3.5, опинилися в нижній частині рейтингу.
Під час тестування моделі не мали доступу до вебпошуку, тому оцінювалася виключно їхня внутрішня здатність розпізнавати та відхиляти дезінформаційні наративи.
Контекст для Mistral
Французький стартап Mistral веде переговори про залучення близько €3 млрд інвестицій при оцінці близько €20 млрд. Результати бенчмарку з’явилися на тлі цих переговорів.
Раніше агентство NewsGuard повідомляло, що рівень відтворення дезінформації в моделях Mistral становить 36,67%.
Аналітична оцінка
Аналітики ETFocus зазначають, що для інституційних інвесторів стійкість мовних моделей до дезінформації поступово стає додатковим фактором оцінки ризиків поряд із технічними та комерційними показниками. На їхню думку, зі зростанням використання ШІ в корпоративних і фінансових системах надійність і передбачуваність моделей набуває більшої ваги.
Варто зазначити, що під час тестування моделі не мали доступу до інтернет-пошуку, що дозволило оцінити їхню базову здатність обробляти та відхиляти інформаційні наративи.
Додатково тему актуалізують випадки використання генеративного ШІ в інформаційних операціях. Зокрема, OpenAI повідомляла про блокування російської кампанії, яка використовувала ChatGPT для поширення пропагандистських матеріалів під час виборів у Німеччині.
На тлі активної експансії глобальних фінтех-компаній у різні регіони, зокрема виходу Revolut на ринок ОАЕ, питання технологічних ризиків і надійності цифрових систем набувають додаткового практичного виміру.
