lucene.net创建海量索引问题

qq632323051 qq632323051 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
各位大神,萌新现在有个问题不知道怎么解决,
比如说我有十张表,每个表里都有大量的数据,我怎么能将所有数据的每个字段都创建索引呢,如果说手动加的话,那岂不是非常麻烦?还有就是我怎么将这个数据库中所有表的所有数据全部抛给lucene来用于检索呢?急急急,跪求各位大神解决

目前我市这么处理的:


public string CreatLC()
{
try
{
string sql = "SELECT * FROM Product";
List<Product> a = new List<Product>();
CreatLucene<Product>.PrepareIndex(new PanGuAnalyzer(), true, Config.INDEX_Product, a, sql);

return "成功";
}
catch (Exception)
{

return "失败";
}

}

public static void PrepareIndex(Analyzer analyzer, bool b, string path, List<T> list, string sql)
{
//根据地址创建目录
DirectoryInfo dirInfo = Directory.CreateDirectory(path);
//FSDirectory:指定索引库文件存放位置,是Diectory的子类
//将索引文件存放在创建的目录dirInfo中
LuceneIO.Directory directory = LuceneIO.FSDirectory.Open(dirInfo);
//IndexWriter:对索引文件进行写的类
IndexWriter writer = new IndexWriter(directory, analyzer, b, IndexWriter.MaxFieldLength.LIMITED);
DBHelper db = DBHelper.GetInstance();

list = db.Fetch<T>(sql);
Type type = typeof(T);
PropertyInfo[] ps = type.GetProperties();
foreach (var item in list)
{


CreateIndex(writer, item);

}


writer.Optimize();
writer.Close();
}

/// <summary>
/// 创建索引
/// </summary>
/// <param name="analyzer"></param>
/// <param name="title"></param>
/// <param name="content"></param>
private static void CreateIndex(IndexWriter writer, T entity)
{
try
{
Document doc = new Document();

Type type = typeof(T);
PropertyInfo[] ps = type.GetProperties();
foreach (PropertyInfo p in ps)
{
object value = p.GetValue(entity, null);
if (value != null)
{

//if (p.Name == "pinyin")
//{
// doc.Add(new Field(p.Name, value.ToString(), Field.Store.YES, Field.Index.ANALYZED));//存储且索引
//}
//else
//{
doc.Add(new Field(p.Name, value.ToString(), Field.Store.YES, Field.Index.ANALYZED));//存储且索引
//}
}
}
writer.AddDocument(doc);
}
catch (FileNotFoundException fnfe)
{
throw fnfe;
}
catch (Exception ex)
{
throw ex;
}
}


...全文

相关推荐

Lucene.net

**创建索引**:首先,开发者需要创建一个 `Directory` 对象来存储索引,如内存目录或硬盘上的 FSDirectory。

黑白式

深入实践Lucene.NET 2.3.1:构建高效搜索引擎

分析器在全文检索系统中扮演着至关重要的角色。它的主要职责是将文本数据进行处理,以便于索引机制可以更高效地存储和检索信息。具体来说,分析器会将文本数据分解为一个个的词汇单元,这个过程也被称为“分词”(Tokenization)。分词后,分析器还会执行一些额外的任务,例如:去除停用词(Stop words removal):停用词如“的”,“和”,“是”等在文本中出现频率极高,但通常不含有实际的检索价值。

谢兴豪

Lucene.Net在.Net MVC4全文检索系统中的应用

全文检索技术是现代数据处理和信息检索的重要组成部分,它允许用户能够快速、准确地从大量的文本数据中找到自己需要的信息。本章节将从全文检索技术的发展历程、与关键词检索的区别,应用场景以及提高数据检索效率和优化用户体验两个方面来介绍全文检索的定义和重要性。全文检索技术的发展是与信息时代同步进行的。早期的检索技术主要依赖于简单的关键词匹配,这种方式虽然快速,但准确性较低,无法满足人们对于信息检索的深度和广度的需求。随着技术的进步和数据量的增加,对检索系统提出了更高的要求。

智圈知识产权

使用Lucene.net和盘古分词构建全文检索系统演示

在信息爆炸的时代,如何从海量数据中快速准确地检索出所需信息,已成为企业与个人亟需解决的挑战之一。全文检索技术应运而生,它不仅能够处理结构化数据,还能有效处理大量的非结构化数据,如文本、图片、视频等。本章将简要介绍全文检索技术的基本概念、发展历程及核心工作原理。全文检索技术的核心在于全文搜索引擎,它通过索引机制对文档进行预处理,使得用户能够通过关键词快速找到相关信息。与传统数据库的基于字段的查询不同,全文检索可以深入理解查询意图,并在全文中检索相关性高的数据。

高天艳阳

ASP.NET基于Ajax+Lucene构建搜索引擎的设计和实现(源代码+论文)

使用Lucene.net协助完成搜索引擎相关的网页爬虫与抓取,为文档建立索引,关键词搜索的功能,通过Ajax优化系统,完成页面的局部刷新功能,给用户好的体验。我们平时看到的全文搜索引擎,实际上只是一个搜索引擎系统的检索界面,当你输入关键词进行查询时,搜索引擎会从庞大的数据库中找到符合该关键词的所有相关网页的索引,并按一定规则呈现给我们。随着计算机技术和互联网技术的飞速发展,网络上的信息量急剧增长,要在浩如烟海的网络世界中寻找需要的信息,作为现代信息获取技术的主要应用,那么搜索引擎是必不可少的。

同一大叔工具库
评论 5
收藏 已收藏
分享
返回顶部
qq632323051
C# 111,130 成员 642,540 内容