Lucene做TREC实验

lianxubao 2013-05-16 11:08:12

有做文本信息检索的么？想用Lucene做TREC数据集的实验，望大神提供建TREC数据集索引的方法呀。

...全文

70 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

lianxubao 2014-03-17

打赏
举报

回复

使用开源工具进行索引，网上有很多，例如Lucene，Terrier等等，只要看懂这些工具提供的API就可以了。

相似度评分算法是Lucene引擎中的核心部分之一。对Lucene内部的相似度评分算法进行研究分析后，针对Lucene只关心查询词出现的频率，而不关心它们所在的位置这一缺陷提出了一种改进的算法。改进的算法将词语位置关系特征融合到Lucene原始相似度评分算法中。在TREC数据集上的实验结果表明：改进后的算法与Lucene原始算法相比，在MAP和P@n指标上都有一定程度的提高。

一、实验目标学会使用一个信息检索系统完成给定的信息检索任务，包括创建索引、选择检索模型并设置参数、评价检索结果等等。二、实验描述使用一个信息检索系统，例如Galago、Elastic Search、Terrier、Anserini等，完成TREC 2018 Precision Medicine Track的检索任务，要求至少给出10组不同参数配置或检索方案的结果，并给出每组检索结果的各...

MoreLikeThis可以用于实现相似文章的查询，其实现原理剖析如下： MoreLikeThis位于lucene捐赠模块Queries目录下，在此转一下实现该类的初衷：　　Lucene does let you access the document frequency of terms, with IndexReader.docFreq(). Term frequencies can ...

背景： ES5及后面版本使用的Lucene6.2，所以默认使用的BM25评分公式，我们实践一下，看看BM25公式对打分的影响。 1、BM25配置实验 1）准备索引建立mapping，使用IK分词器测试也可以用空格分词器，建立一个shard为了结果统一好看一些，因为评分是在Lucene中进行的，所以多个shard的IDF和字段平均长度不是全局的，每个shard中的Index值是不一至。设置默认和自定义两个评分器，分别配置到text和title中。 { "settings": { "nu

转自：http://blog.csdn.net/memray/article/details/8973457 课程作业需要做一个评测实验，借机会了解一下Lemur，其实使用教程在Lemur官网（http://www.lemurproject.org/）和SourceForge（http://sourceforge.net/projects/lemur/wiki/）上都有较为详细

62,614

社区成员

307,327

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章