搜索引擎 – 如何使用trec_eval评估搜索/检索引擎？

有没有使用TREC_EVAL的身体？我需要一个“Trec_EVAL for dummies”.

我正在尝试评估一些搜索引擎来比较我的论文工作中的“召回精度”,“排名”等参数.我找不到如何使用TREC_EVAL向搜索引擎发送查询,并获得可以与TREC_EVAL一起使用的结果文件.

基本上,对于trec_eval,你需要一个(人类生成的)地面真理.这必须是一种特殊的格式：

query-number 0 document-id relevance

给出像101Categories(wikipedia entry)这样的集合

Q1046   0   PNGImages/dolphin/image_0041.png    0
Q1046   0   PNGImages/airplanes/image_0671.png  128
Q1046   0   PNGImages/crab/image_0048.png   0

查询号码因此标识查询(例如,从某个类别的图片中找到类似的查询).搜索引擎的结果就被转换成了

query-number    Q0  document-id rank    score   Exp

或在现实中

Q1046   0   PNGImages/airplanes/image_0671.png  1   1   srfiletop10
Q1046   0   PNGImages/airplanes/image_0489.png  2   0.974935    srfiletop10
Q1046   0   PNGImages/airplanes/image_0686.png  3   0.974023    srfiletop10

如here所述.您可能需要调整“document-id”的路径名.然后可以计算出标准度量值trec_eval groundtrouth.qrel的结果.
trec_eval –help应该提供一些想法来选择正确的参数来使用您的论文所需的测量.

trec_eval不发送任何查询,您必须自己准备. trec_eval只做了一个分析给你一个地面的诡计和你的结果.

一些基本信息可以在here和here找到.