Институт эстонского языка (Eesti Keele Instituut, EKI) опубликовал бенчмарк, который оценивает способность языковых моделей противостоять российской дезинформации. В тестировании приняли участие 60 моделей, которым предложили 75 вопросов на трёх языках — в нейтральной, предвзятой и манипулятивной формулировке.
Вопросы охватывали 14 типичных пропагандистских нарративов, пишет The Decoder. Каждый ответ оценивался по шкале от 1 до 5, где 1 означает воспроизведение кремлёвских тезисов. Оценивание проводилось с помощью настроенной модели Claude Opus 4.5, а результаты верифицировала организация Propastop, специализирующаяся на противодействии дезинформации.
Результаты тестирования
Лидерами бенчмарка стали модели Anthropic: первое место заняла Claude Fable 5 с результатом 95,2 балла, второе — Claude Opus 4.7. Также высокие результаты показали Nemotron 3 от NVIDIA и Qwen 3.6 Plus от Alibaba.
Модели Mistral, включая новейшую Medium 3.5, оказались в нижней части рейтинга.
Во время тестирования модели не имели доступа к веб-поиску, поэтому оценивалась исключительно их внутренняя способность распознавать и фильтровать дезинформационные нарративы.
Контекст для Mistral
Французский стартап Mistral ведёт переговоры о привлечении около €3 млрд инвестиций при оценке около €20 млрд. Результаты бенчмарка появились на фоне этих переговоров.
Ранее агентство NewsGuard сообщало, что уровень воспроизведения дезинформации в моделях Mistral составляет 36,67%.
Аналитическая оценка
Аналитики ETFocus отмечают, что для институциональных инвесторов устойчивость языковых моделей к дезинформации постепенно становится дополнительным фактором оценки рисков наряду с техническими и коммерческими показателями. По их мнению, с ростом использования ИИ в корпоративных и финансовых системах надёжность и предсказуемость моделей приобретают всё большее значение.
Стоит отметить, что во время тестирования модели не имели доступа к интернет-поиску, что позволило оценить их базовую способность обрабатывать и фильтровать информационные нарративы.
Также следует отметить, что генеративные модели в целом оценивались в условиях отсутствия доступа к внешним источникам, что усиливает значимость результатов в части проверки их базовой устойчивости к дезинформации.
Дополнительно тему актуализируют случаи использования генеративного ИИ в информационных операциях. В частности, OpenAI сообщала о блокировке российской кампании, которая использовала ChatGPT для распространения пропагандистских материалов во время выборов в Германии.
На фоне активной экспансии глобальных финтех-компаний в разные регионы, включая выход Revolut на рынок ОАЭ, вопросы технологических рисков и надёжности цифровых систем приобретают дополнительное практическое значение.
