HitRate@K

「找到了没找到」

前K条至少出现一个标准答案，统计简单

Recall@K

「找到了多少」

前K条包含完整答案的比例，计算需要标注有哪些标准答案

Text

Recall@k = |检索结果 ∩ 标准答案片段| / |标准答案片段总数|

检索 top5 = [A, B, C, D, E]
gold      = [B, D]

Recall@5 = |{B,D} ∩ {A,B,C,D,E}| / 2 = 2/2 = 1.0

MRR

「找到的位置好不好用」

正确答案排在第一几位，评测正确答案是否相似度更高

比如说正确答案排在第 5 位，前面 4 段噪声会稀释注意力，模型可能压根没认真看那段就答了