Среднеобратный ранг

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Среднеобратный ранг (MRR) — статистическая оценка откликов процесса на запросы, упорядоченных по вероятности и правильности. Характеризует эффективность информационного поиска. Обратный ранг в данном случае означает обратное число номера (ранга) первого правильного ответа в списке откликов. Среднеобратный ранг определяется как среднее обратных рангов по всем запросам Q:[1]

где означает положение первого релевантного документа для запроса i.

Обратное значение среднеобратного ранга соответствует среднему гармоническому между рангами.

Рассмотрим три запроса, которые переводят русские слова из единственного числа в родительный падеж множественного числа. Во всех случаях данного примера система делает три попытки, первые попытки считаются системой наиболее правильными:

Запрос Ответы Правильный ответ Ранг Обратный ранг
кочерга кочерг, кочергей, кочерёг кочерёг 3 1/3
попадья попадь, попадей, попадьёв попадей 2 1/2
турок турок, турков, турчан турок 1 1

По этим примерам мы вычисляем среднеобратный ранг как (1/3 + 1/2 + 1)/3 = 11/18 , то есть приближённо 0.61.

Если же ни один из ответов не правильный, среднеобратный ранг считается равным 0. Обратите внимание, что только первый релевантный ответ учитывается, а последующие релевантные ответы игнорируются.

  • D. R. Radev; H. Qi; H. Wu; W. Fan (2002). "Evaluating web-based question answering systems". Proceedings of LREC.

Примечания

[править | править код]
  1. E.M. Voorhees (1999). "Proceedings of the 8th Text Retrieval Conference". TREC-8 Question Answering Track Report. pp. 77—82.
  2. D. R. Radev, H. Qi, H. Wu, W. Fan (2002). Evaluating web-based question answering systems. Proceedings of LREC.{{cite conference}}: Википедия:Обслуживание CS1 (множественные имена: authors list) (ссылка)