请熟悉lucene.net，用lucene.net开发过项目的大侠帮忙分析一下问题-CSDN论坛

请熟悉lucene.net，用lucene.net开发过项目的大侠帮忙分析一下问题

.NET技术 > ASP.NET

收藏回复

[问题点数：100分，结帖人sandyxxx]

⋅网站发布release到IIS log4net 不写日志 ⋅审核数据重复问题 ⋅京广高铁本月26号正式开通，附运行图。 更多帖子 关注私信空间博客 一天到晚游泳的鱼2016 等级 本版专家分：3180 结帖率 100%: 请熟悉lucene.net，用lucene.net开发过项目的大侠帮忙分析一下问题。
我们公司搜索采用lucene.net 分词器lucene.net不多，采用的是Lucene.Net.Analysis.China.dll 。
也是从网上下载的一个第三方分词器。字词分词还能基本满足需求。

现在项目完成上线，问题是，网站的服务器内存不断上涨，到最后“System.OutOfMemoryException”的异常网站死掉，无法打开。

对于lucene.net，耗费性能的排序去掉了，要不死的更快。

对于搜索，IndexSearcher每次打开都及时关闭，清理了。

下面是异常日志，还请对lucene.net有研究的大侠，帮忙分析一下。

时间：2010-12-25 07:57:58,843 线程ID:[5] 日志级别：ERROR 类：Gk.Framework.Lucene.AbstractBase.AbstractLuceneBase property:[(null)] - 描述：引发类型为“System.OutOfMemoryException”的异常。
System.OutOfMemoryException: 引发类型为“System.OutOfMemoryException”的异常。
   在 Lucene.Net.Analysis.China.Graph.x33543d3035807139.GetEnumerator()
   在 Lucene.Net.Analysis.China.Graph.xef2f0a201b1de90d.xc82b0b6ba0540317()
   在 Lucene.Net.Analysis.China.x93a9632f89e5228b.xa19ed99e4a8e3c37(xbe3359edea77d2e1 x8bab43510084bb0f)
   在 Lucene.Net.Analysis.China.ChineseTokenizer.xd32c157ba2a173fa()
   在 Lucene.Net.Analysis.China.ChineseTokenizer.Next()
   在 Lucene.Net.Analysis.China.ChineseFilter.Next()
   在 Lucene.Net.Highlight.Highlighter.GetBestTextFragments(TokenStream tokenStream, String text, Boolean mergeContiguousFragments, Int32 maxNumFragments)
   在 Lucene.Net.Highlight.Highlighter.GetBestFragments(TokenStream tokenStream, String text, Int32 maxNumFragments)
   在 Lucene.Net.Highlight.Highlighter.GetBestFragment(TokenStream tokenStream, String text)
   在 Lucene.Net.Highlight.Highlighter.GetBestFragment(Analyzer analyzer, String fieldName, String text)
   在 GongKong.Projects.UniteSearch.Indexer.ZhiDaoIndexer.BuildHighlight(String field, String fieldValue, Query keyquery)
   在 Gk.Framework.Lucene.AbstractBase.AbstractLuceneBase.SearchIndex(Int32 pageSize, Int32 pageIndex, Int32& recordCount, String sortField, Boolean isAsc, Dictionary`2 condition)

2010-12-25 10:38:03

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅今天的帖子很多看不到，又是错误 ⋅郁闷,这几天分值增加了很多又减少好几百分，也没人解释 ⋅MVP 散分 更多帖子 关注私信空间博客 wuyq11 等级 本版专家分：815978 勋章 名人 2019年荣获名人称号 2012年荣获名人称号 状元 2010年总版技术专家分年内排行榜第一 2009年总版技术专家分年内排行榜第一 榜眼 2011年总版技术专家分年内排行榜第二 金牌 2011年3月总版技术专家分月排行榜第一 2011年2月总版技术专家分月排行榜第一 2011年1月总版技术专家分月排行榜第一 2010年12月总版技术专家分月排行榜第一 2010年11月总版技术专家分月排行榜第一 2010年10月总版技术专家分月排行榜第一 2010年9月总版技术专家分月排行榜第一 2010年8月总版技术专家分月排行榜第一 2010年7月总版技术专家分月排行榜第一 2010年6月总版技术专家分月排行榜第一 2010年5月总版技术专家分月排行榜第一 2010年3月总版技术专家分月排行榜第一 2010年4月总版技术专家分月排行榜第一 2010年2月总版技术专家分月排行榜第一 2010年1月总版技术专家分月排行榜第一 2009年12月总版技术专家分月排行榜第一 2009年11月总版技术专家分月排行榜第一 2009年10月总版技术专家分月排行榜第一 2009年8月总版技术专家分月排行榜第一 2009年7月总版技术专家分月排行榜第一 2009年6月总版技术专家分月排行榜第一: 程序存在死循环

2010-12-25 10:40:46

点赞只看TA 引用举报 #1得分 40

⋅导入数据时候，newsequentialid()不能接着导入的数据的id值 ⋅我出了一份面试题，大家帮忙作作看，看看难度是否适中。 ⋅换工作散分。 更多帖子 关注私信空间博客 winner2050 等级 本版专家分：55017: 分词组件爆出的错误，肯定是它的bug。

2010-12-25 10:40:55

点赞只看TA 引用举报 #2得分 40

⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 更多帖子 关注私信空间博客 Dylan-Wang 等级 本版专家分：664: 楼主把你建立索引，分词方法和搜索方法贴出来，我看看，光写出错误找不到原因的

2010-12-25 10:53:09

点赞只看TA 引用举报 #3得分 20

⋅网站发布release到IIS log4net 不写日志 ⋅审核数据重复问题 ⋅京广高铁本月26号正式开通，附运行图。 更多帖子 关注私信空间博客 一天到晚游泳的鱼2016 等级 本版专家分：3180: 我现在也怀疑是哪个分词组件有问题。

网上说，lucene.net内部也有内存溢出bug。请问是这样吗？

还有，大家请推荐一下lucene.net较好的中文分词组件，最好不要词库的，维护太麻烦。

还有，我们索引的好多都是外国公司名称，如果词库不及时更新，这些都是查不到

最好是字词混合分词。

2010-12-25 10:57:33

点赞只看TA 引用举报 #4得分 0

⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 更多帖子 关注私信空间博客 Dylan-Wang 等级 本版专家分：664: 楼主先说说你要搜索的效果，我在给你推荐分词器，是倾向于中文搜索，还是英文搜索？lucene.net的内存机制很好了，现在怀疑的是你下载的那个分词组建的问题

2010-12-25 11:02:53

点赞只看TA 引用举报 #5得分 0

⋅网站发布release到IIS log4net 不写日志 ⋅审核数据重复问题 ⋅京广高铁本月26号正式开通，附运行图。 更多帖子 关注私信空间博客 一天到晚游泳的鱼2016 等级 本版专家分：3180: 引用 3 楼 dongdongleng 的回复:
楼主把你建立索引，分词方法和搜索方法贴出来，我看看，光写出错误找不到原因的

大家看看我的搜索方法有问题吗

分词方法，我就是调用的Lucene.Net.Analysis.China.dll中的Analyzer。

搜索方法：
        public object SearchIndex(int pageSize, int pageIndex, out int recordCount, string sortField, bool isAsc, Dictionary<string, SearchConditionEntity> condition)
        {
            recordCount = 0;
            Hits hits = null;
            IndexSearcher searcher = null;
            try
            {
                //查询条件
                Query query = this.BuildQuery(condition);
                //加载索引，创建搜索对象
                searcher = new IndexSearcher(this.Path);
               //排序
                if (!StringUtil.IsNullOrEmpty(sortField))
                {
                    //Sort dateSort = new Sort(sortField, isAsc);
                    Sort dateSort = new Sort(new SortField(sortField, SortField.STRING, isAsc));

                    hits = searcher.Search(query, dateSort);
                }
                else
                {
                    hits = searcher.Search(query);
                }

                recordCount = hits.Length();//总数量
               //返回查询的List<Document>
                IList<Document> documentList = new List<Document>();

                int i = (pageIndex - 1) * pageSize;
                while (i < recordCount && documentList.Count < pageSize)
                {
                    //获取具体当前索引数据
                    Document doc = hits.Doc(i);
                    float fl = hits.Score(i);
                    doc.Add(new Field("Qzscore", fl.ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                    //需要分词字段集合
                    List<string> listfield = HighlightFileds();
                    //分词所需Query
                    Query keyquery = BuildHighlightQuery(condition);
                    //遍历需要分词字段集合
                    if (listfield != null && keyquery != null)
                    {
                        foreach (string field in listfield)
                        {
                            //分词字段值
                            string fieldValue = doc.Get(field);
                            //返回分词后的字段值
                            string val = BuildHighlight(field, fieldValue, keyquery);
                            //有分词结果，重新构造分词高亮字段
                            if (val != null)
                            {
                                //删除原来字段
                                doc.RemoveField(field);
                                //添加分词后,原来字段
                                doc.Add(new Field(field, StringUtil.ToString(val, ""), Field.Store.YES, Field.Index.UN_TOKENIZED));
                            }
                        }
                        //重新构造后的doc，写入documentList
                        documentList.Add(doc);
                    }
                    else
                    {
                        //没有分词查询，添加到documentList
                        documentList.Add(doc);
                    }
                    i++;
                }
                return this.BuildResultList(documentList);
            }
            catch (Exception ex)
            {
                log.Error(ex.Message, ex);
                return null;
            }
            finally
            {
                searcher.Close();
                searcher = null;
                System.GC.Collect();
            }
        }

2010-12-25 11:02:58

点赞只看TA 引用举报 #6得分 0

⋅网站发布release到IIS log4net 不写日志 ⋅审核数据重复问题 ⋅京广高铁本月26号正式开通，附运行图。 更多帖子 关注私信空间博客 一天到晚游泳的鱼2016 等级 本版专家分：3180: 谢谢 dongdongleng

我们主要是中文分词。

2010-12-25 11:05:14

点赞只看TA 引用举报 #7得分 0

⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 更多帖子 关注私信空间博客 Dylan-Wang 等级 本版专家分：664: 中文分词要求精度吗？不要求精度的话，基本的二分法实现分词就可以了，这个可以自己写一个二分法分词，但是楼主如果要求精度的话，那么就需要一个词库匹配，词库的维护成本当然有。

2010-12-25 11:11:35

点赞只看TA 引用举报 #8得分 0

⋅网站发布release到IIS log4net 不写日志 ⋅审核数据重复问题 ⋅京广高铁本月26号正式开通，附运行图。 更多帖子 关注私信空间博客 一天到晚游泳的鱼2016 等级 本版专家分：3180: 对精度还是有要求的。

对于词库，原来项目，还有其他项目在用，觉得效果不是很理想。

二分法的有吗

我现在用的这个，它介绍说比二分法精度高。

就是下面这个网址http://blog.csdn.net/wangkun9999/archive/2007/04/18/1568495.aspx

2010-12-25 11:17:47

点赞只看TA 引用举报 #9得分 0

⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 ⋅CuteEditor 过滤 iframe 内容 更多帖子 关注私信空间博客 Dylan-Wang 等级 本版专家分：664: 如果要求高的话，用盘古分词吧，带词库的，要维护，我还写了个盘古分词和Lucene.net的搜索类，楼主可以借鉴一下

盘古分词下载：
http://download.csdn.net/source/2889457

搜索类：

http://blog.csdn.net/dongdongleng/archive/2010/12/06/6058416.aspx

2010-12-25 11:23:17

点赞只看TA 引用举报 #10得分 0

1 2

收起

收藏回复

一天到晚游泳的鱼2016

等级：

关注私信 TA的帖子

关于Lucene.net 中高亮显示关键词的深究: 这几天一直在学习lucene，也写了3篇自己总结的知识点，本以为很容易上手的东西，但是却遇到了一个很棘手的问题，借此，希望可以跟大家探讨一下问题：使用盘古高亮显示组件后，如搜索“mp3 player”，搜索词中间...

Nutch抓取数据分析: 由于刚开始理解错误，以为搜索索引可以作为数据挖掘的输入信息，后面才发现错了，由solr/nutch/lucene形成的只是搜索索引，只要由用户提供查询关键字，然后就可以查到该关键字来自哪一篇文档，并不是一篇文档的文字...

webmagic采集CSDN的Java_WebDevelop页面: 使用webmagic采集博客类的网站示例

ajax自动加载blogjava和博客园的rss: 自动加载blogjava和博客园的rssDOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">html xmlns=...

lucene.net函数查询的问题

sql关键字查询问题

Graylog2+rsyslog+log4j 全过程日志管理环境搭建: 笔者刚刚进入一家新公司，leader给我的第一个任务就是研究一下graylog2这个日志管理框架，目的要把我们java开发过程中的logger统一放到一起，便于排错。经过一周的研究，已经把整个环境搭建完成，现把整个过程记录...

lucene搜索结果排序问题: 这里先说明一下应用场景：对用户进行lucene搜索，而希望得到的结果排序有要求，具体如下：现在假如有下面几条数据：名字年龄地址个人介绍备注 user1 李四 19 江南大道路过与张三是同学 user2 张三 20...

Lucene学习笔记(摘抄整理版): Lucene In Action阅读笔记之一最近在学习Lucene，苦于没有教程，自有一本旧书外加下载了一个 Lucene-2.2.0的源码压缩包。按照书里的例子动手实践一下，可总是报错，很烦闷。折腾了一上午才知道源码包里的API已经...

CSDN前1000名博主: 博主简介 ...博文中的内容禁止用 yuanmeng001 排名：2 原创：5286 粉丝：10660 积分：170616 等级：10袁萌专栏无穷小微积分倡导者–北大教授null老师 yjclsx 排名：3 原创：162...

Nutch入门学习: 因为solr生成的索引是放在本地磁盘的，为了把搜索索引放到HDFS上，所以最近看了一下搭建分布式Nutch和Nutch+solr的集成 Nutch的抓取流程：对目标网站完成抓取后，在保存抓取数据目录crawl 下产生了五个子目录： ...

推荐CSDN排名前1000博主: 博主简介 stpeace 排名：1 原创：2166 粉丝：7180 积分：181660 等级：10 stpeace的专栏 ...博文中的内容禁止用 yuanmeng001 排名：2 原创：52...

机器学习干货贴: 1.Kaggle Ensembling Guide 摘要：Creating ensembles from submission files Voting ensembles. Averaging Ra... 2.[导读]Machine Learning Theory 摘要：机器学习相关理论，Machine Learning Theory - Part 1: ...

请教Lucene搜索引擎问题（有源码下载）

我爱机器学习--机器学习方向资料汇总: 转载：http://blog.csdn.net/shuimanting520/article/details/45748505 机器学习爱好者资料机器学习领域的几种主要学习方式 From Stumps to Trees to Forests KDD-2014 – The Biggest, Best, and ...

[转]高负载并发网站架构分析: 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。... 初创网站与开源软件 6 ? 谈谈大型高负载网站服务器的优化心得!...

高负载高并发网站架构分析: 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 ... ————————————————————————————...

Asp.net MVC 3 开发简单的企业系统开篇--数据库: 本来准备自己做一个单独的系统(Asp.net MVC 3 开发一个简单的企业网站系统)玩一玩，没想到引来了大家的关注，令我非常激动啊，在这里非常感谢支持鼓励我的朋友们、园友们，谢谢您们。虽然是要做一个简单的网站系统...

开源搜索引擎评估:lucene sphinx elasticsearch: 2019独角兽企业重金招聘Python工程师标准>>> ...

Liferay研究-smilingleo: 本篇主要介绍如何搭建Ext开发环境。网上也有很多介绍，不过这里和别的还是有些不同的。我用的版本是最新的4.3.3。 1、在portal源码目录下建立：release.Leo.properties，其中Leo是我在Windowx XP中的账号

我爱机器学习网机器学习类别文章汇总: 机器学习领域的几种主要学习方式 From Stumps to Trees to Forests KDD-2014 – The Biggest, Best, and Booming Data Science Meeting 前景目标检测1（总结）行人检测 ...Sibyl: Google’s

Mahout常用文件转换命令: 输入分析:

全文搜索服务器：SOLR安装与应用: from http://blog.csdn.net/ssh_kobe/article/details/6768625 利用SOLR搭建企业搜索平台之一（运行solr） ...　基于现阶段正在研究的solr应用，陆续的会分享我的一些经验！　今天要说的是：怎么跑起来！

Heritrix信息集合: HeritrixHeritrix是一个爬虫框架，可加如入一些可互换的组件。　它的执行是递归进行的，主要有以下几步：　1...标记已经处理过的URI　Heritrix主要有三大部件：范围部件，边界部件，处理器链　范围部件：主要按照规则决

面试宝典2018: Java基础部分 1、一个".java"源文件中是否可以包括多个类(不是内部类)?有什么限制? 答：可以有多个类,但只能有一个 ...java 中使用。 3、说说&和&&的区别。答：a.&和&&都可以用作逻辑与的运算符,表示逻辑与(and

Lucene与DB结合示例: 2019独角兽企业重金招聘Python工程师标准>>> ...

200个C语言程序（由简单到复杂）: 从简单到难的200来个经典C程序第一部分基础篇 001 第一个C程序 002 运行多个源文件 003 求整数之积 004 比较实数大小 005 字符的输出 006 显示变量所占字节数 007 自增/自减运算 008 数列求和 009 乘法口诀表 010 猜数字游戏 011 模拟ATM（自动柜员机）界面 012 用一维数组统计学生成绩 013 用二维数组实现矩阵转置 014 求解二维数组的最大/最小元素 015 利用数组求前n个质数 016 编制万年历 017 对数组元素排序 018 任意进制数的转换 019 判断回文数 020 求数组前n元素之和 021 求解钢材切割的最佳订单 022 通过指针比较整数大小 023 指向数组的指针 024 寻找指定元素的指针 025 寻找相同元素的指针 026 阿拉伯数字转换为罗马数字 027 字符替换 028 从键盘读入实数 029 字符行排版 030 字符排列 031 判断字符串是否回文 032 通讯录的输入输出 033 扑克牌的结构表示 034 用“结构”统计学生成绩 035 报数游戏 036 模拟社会关系 037 统计文件的字符数 038 同时显示两个文件的内容 039 简单的文本编辑器 040 文件的字数统计程序 041 学生成绩管理程序第二部分数据结构篇 042 插入排序 043 希尔排序 044 冒泡排序 045 快速排序 046 选择排序 047 堆排序 048 归并排序 049 基数排序 050 二叉搜索树操作 051 二项式系数递归 052 背包问题 053 顺序表插入和删除 054 链表操作（1） 055 链表操作（2） 056 单链表就地逆置 057 运动会分数统计 058 双链表 059 约瑟夫环 060 记录个人资料 061 二叉树遍利 062 浮点数转换为字符串 063 汉诺塔问题 064 哈夫曼编码 065 图的深度优先遍利 066 图的广度优先遍利 067 求解最优交通路径 068 八皇后问题 069 骑士巡游 070 用栈设置密码 071 魔王语言翻译 072 火车车厢重排 073 队列实例 074 K阶斐波那契序列第三部分数值计算与趣味数学篇 075 绘制余弦曲线和直线的迭加 076 计算高次方数的尾数 077 打鱼还是晒网 078 怎样存钱以获取最大利息 079 阿姆斯特朗数 080 亲密数 081 自守数 082 具有abcd=(ab+cd)2性质的数 083 验证歌德巴赫猜想 084 素数幻方 085 百钱百鸡问题 086 爱因斯坦的数学题 087 三色球问题 088 马克思手稿中的数学题 089 配对新郎和新娘 090 约瑟夫问题 091 邮票组合 092 分糖果 093 波瓦松的分酒趣题 094 求π的近似值 095 奇数平方的有趣性质 096 角谷猜想 097 四方定理 098 卡布列克常数 099 尼科彻斯定理 100 扑克牌自动发牌 101 常胜将军 102 搬山游戏 103 兔子产子（菲波那契数列） 104 数字移动 105 多项式乘法 106 产生随机数 107 堆栈四则运算 108 递归整数四则运算 109 复平面作图 110 绘制彩色抛物线 111 绘制正态分布曲线 112 求解非线性方程 113 实矩阵乘法运算 114 求解线性方程 115 n阶方阵求逆 116 复矩阵乘法 117 求定积分 118 求满足特异条件的数列 119 超长正整数的加法第四部分图形篇 120 绘制直线 121 绘制圆 122 绘制圆弧 123 绘制椭圆 124 设置背景色和前景色 125 设置线条类型 126 设置填充类型和填充颜色 127 图形文本的输出 128 金刚石图案 129 飘带图案 130 圆环图案 131 肾形图案 132 心脏形图案 133 渔网图案 134 沙丘图案 135 设置图形方式下的文本类型 136 绘制正多边形 137 正六边形螺旋图案 138 正方形螺旋拼块图案 139 图形法绘制圆 140 递归法绘制三角形图案 141 图形法绘制椭圆 142 抛物样条曲线 143 Mandelbrot分形图案 144 绘制布朗运动曲线 145 艺术清屏 146 矩形区域的颜色填充 147 VGA256色模式编程 148 绘制蓝天图案 149 屏幕检测程序 150 运动的小车动画 151 动态显示位图 152 利用图形页实现动画 153 图形时钟 154 音乐动画第五部分系统篇 155 读取DOS系统中的国家信息 156 修改环境变量 157 显示系统文件表 158 显示目录内容 159 读取磁盘文件 160 删除目录树 161 定义文本模式 162 设计立体窗口 163 彩色弹出菜单 164 读取CMOS信息 165 获取BIOS设备列表 166 锁住硬盘 167 备份/恢复硬盘分区表 168 设计口令程序 169 程序自我保护第六部分常见试题解答篇 170 水果拼盘 171 小孩吃梨 172 删除字符串中的特定字符 173 求解符号方程 174 计算标准差 175 求取符合特定要求的素数 176 统计符合特定条件的数 177 字符串倒置 178 部分排序 179 产品销售记录处理 180 特定要求的字符编码 181 求解三角方程 182 新完全平方数 183 三重回文数 184 奇数方差 185 统计选票 186 同时整除 187 字符左右排序 188 符号算式求解 189 数字移位 190 统计最高成绩 191 比较字符串长度 192 合并整数 193 矩阵逆置 194 删除指定的字符 195 括号匹配 196 字符串逆置 197 SIX/NINE问题 198 单词个数统计 199 方差运算 200 级数运算 201 输出素数 202 素数题 203 序列排序 204 整数各位数字排序 205 字符串字母移位 206 Fibonacc数列第七部分游戏篇 207 商人过河游戏 208 吃数游戏 209 解救人质游戏 210 打字训练游戏 211 双人竞走游戏 212 迷宫探险游戏 213 迷你撞球游戏 214 模拟扫雷游戏 215 推箱子游戏 216 五子棋游戏第八部分综合实例篇 217 综合CAD系统 218 功能强大的文本编辑器 219 图书管理系统 220 进销存管理系统

Premiere2019破解版: 文档内包含pr2019版本的破解版，只需在解压后点击Setup.exe即可一键安装。

华为机考题库(全）: 包括招聘的机考题，及面试过程中会问到的数据结构的相关内容，排序算法全部包括并且有改进算法，一点点改进可以让你表现的与众不同，如果好的话给点评价吧亲

MATLAB图像处理: MATLAB图像处理课程通过学习该课程系统掌握MATLAB图像处理的相关知识点。

相关热词 c# 摘要 c# mvc2 匿名访问 c#qq登录框代码怎么写 c#修改json串 c#string怎么用 c#不包含适用 c# exe 所在路径 c#重载运算符++ add c# list c# 抓取数据