8.0w+
社区成员
- 全部
大家帮忙看一下，这个错误是不是Lucene不能解处理中文
我运行：IndexHTML -create g:/1时出现以下错误这个错误是不是Lucene不能解处理中文（用了Lucene_cn.jar）
adding g:/1/xqszhdls.htm
Parse Aborted: Lexical error at line 7, column 38. Encountered: "\u4f53" (20307
), after : ""
adding g:/1/zhyedjz.htm
Parse Aborted: Lexical error at line 7, column 38. Encountered: "\u4f53" (20307
), after : ""
adding g:/1/xqszhdls.htm
Parse Aborted: Lexical error at line 7, column 38. Encountered: "\u4f53" (20307
), after : ""
adding g:/1/zhyedjz.htm
Parse Aborted: Lexical error at line 7, column 38. Encountered: "\u4f53" (20307
), after : ""
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
zhaoxuefeng 2003-07-09
中文可以查找了，解决的方法是把建立索引的内容转化为ISO8859_1的编码储存，在查的时候先转化为ISO8859_1的编码查找，再转化为GBK输出，不知这个方法有什么缺点？
eyeieye 2003-07-09
把错误堆栈copy上来看看
eyeieye 2003-07-09
我用1.3没问题，记得以前用1.2的时候也很正常的。
jive那些玩艺不用管，它自己把索引、搜索的功能集中到一起而已。
具体环境不知道，那咱也就不好判断出错原因了。
jive那些玩艺不用管，它自己把索引、搜索的功能集中到一起而已。
具体环境不知道，那咱也就不好判断出错原因了。
zhaoxuefeng 2003-07-09
重新用JAVACC编译了htmlparser.jj，还是不行，在问一下我看了jive的查询他里面用了DBsearchManager等这些类,这与生成索引有什么关系吗?是不是利用这些类来生成索引,
在查询数据库的数据时除了生成索引还需要做什么工作?
在查询数据库的数据时除了生成索引还需要做什么工作?
zhaoxuefeng 2003-07-09
谢谢,
我先用1.2版本是最新的,与MYSQL连通后生成索引测试英语没有问题,但是中文什么结果也没有,重新写SearchFiles.java使用（http://www.javaresearch.org/article/showarticle.jsp?column=25&thread=1232&message=1881&redirect=true&hilite=true&q=lucene）下载的lucene_cn.jar并把Analyzer analyzer = new StandardAnalyzer();改为Analyzer analyzer = new ChineseAnalyzer();然后就出现caught a class org.apache.lucene.queryParser.ParseException
with message: Lexical error at line 1, column 2. Encountered: <EOF> after : ""
我先用1.2版本是最新的,与MYSQL连通后生成索引测试英语没有问题,但是中文什么结果也没有,重新写SearchFiles.java使用（http://www.javaresearch.org/article/showarticle.jsp?column=25&thread=1232&message=1881&redirect=true&hilite=true&q=lucene）下载的lucene_cn.jar并把Analyzer analyzer = new StandardAnalyzer();改为Analyzer analyzer = new ChineseAnalyzer();然后就出现caught a class org.apache.lucene.queryParser.ParseException
with message: Lexical error at line 1, column 2. Encountered: <EOF> after : ""
eyeieye 2003-07-09
以前1.2版本demo的htmlparser是不支持中文的，下了javacc重新编译一边，把unioncode支持上面打个钩就可以了
eyeieye 2003-07-09
哪个版本的lucene？
zhaoxuefeng 2003-07-09
up
zhaoxuefeng 2003-07-08
caught a class org.apache.lucene.queryParser.ParseException
with message: Lexical error at line 1, column 2. Encountered: <EOF> after : ""
with message: Lexical error at line 1, column 2. Encountered: <EOF> after : ""
zhaoxuefeng 2003-07-08
up
开源 Java 中文分词器 Ansj 作者孙健专访 Ansj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。 在线演示：http://ansj.sdapp.cn/demo/seg.jsp 官网地址：...
架构师之路--谈架构师的基本素养和[干货]日志处理 在这之前我很少有时间去考虑这个问题，因为我总有做不完的事儿：看不完的书，解决不完的问题，干不完的活儿…… 不是我干活儿慢，实际情况恰恰相反。但是我总是能给自己找很多的事情。我的桌面上有好几个txt，里面...
阿里Java面经大全（整合版） 然后问我springmvc里面有的参数的设定，问的是细节，然后问我如果传的多个值是一个对象的属性，问我如何处理，我说直接在后端接收为对象就行了，然后突然问我http怎么传对象，这里有点不明白面试官想问啥，...
redis教程(The little redis book中文版) 许可证 《The Little Redis Book》是经由Attribution-NonCommercial 3.0 Unported license许可的，你不需要为此书付钱。 你可以自由地对此书进行复制，分发，修改或者展示等操作。...关于这个许可证的详...
The little redis book中文版 \thispagestyle{empty} \changepage{}{}{}{-0.5cm}{}{2cm}{}{}{} \ \clearpage \changepage{}{}{}{0.5cm}{}{-2cm}{}{}{} 关于此书 ...《The Little Redis Book》是经由Attribution-NonCommercial 3.0 Unported ...
博客园程序 异常情况 如果大家对源代码有什么疑问或改进意见, 请在Dottext区发表文章。 由于时间比较仓促, 所以没什么帮助文档, 请谅解。 注: 如果你成功用博客园的程序建立了博客站点，博客园将非常感激你在站点上注明程序来自博客园。...
java综合知识点总结-必背 目录 目录 １ 基础篇 ４ 一、JDK常用的包 ４ 二、 Get和Post的区别 ４ 三、 Java多态的具体体现 ４ 四、 StringBuffer StringBuilder String 区别 ５ 五、 Hashtable与HashMap的区别 ５ 六、 九大隐式对象 ５ ...
高负载高并发网站架构分析 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ——————————...
JAVA超全笔试/面试考试题.(500问)--第三章面试题全面收录 第二，Anonymous Inner Class (匿名内部类) 是否可以extends(继承)其它类，是否可以implements(实现)interface(接口)? 第三，Static Nested Class 和 Inner Class的不同，说得越多越好(面试题有的很笼统)。 第四，&a...
Java面试整理 -码之狼 _面试概念整理以及项目逻辑分享 注意：( 所有的概念都是结合所学知识去记忆，死记硬背并不会有太好的记忆并且难以结合到自己的项目中去) 一、JDK常用的包 二、 Get和Post的区别 三、 Java多态的具体体现 ...
参考 目录 目录 １ 基础篇 ４ 一、JDK常用的包 ４ 二、 Get和Post的区别 ４ 三、 Java多态的具体体现 ４ 四、 StringBuffer StringBuilder String 区别 ５ 五、 Hashtable与HashMap的区别 ５ 六、 九大隐式对象 ５ ...
程序员面试总结 （非原创） 好早以前看的，保存了下来了， 不知道原作者的链接了！！！ 好早以前看的，保存了下来了， 不知道原作者的链接了！！！ 好早以前看的，保存了下来了， 不知道原作者的链接了！！！ 1、面试指导方针 在面试官问到技术...
JAVA基础 java.lang： 这个是系统的基础类，比如String、Math、Integer、System和Thread，提供常用功能。 java.io: 这里面是所有输入输出有关的类，比如文件操作等 java.net: 这里面是与网络有关的类，比如URL,...
[转]高负载并发网站架构分析 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ——————————————...
java基础知识整理 这个是系统的基础类，比如String、Math、Integer、System和Thread，提供常用功能。 java.io: 这里面是所有输入输出有关的类，比如文件操作等 java.net: 这里面是与网络有关的类，比如URL,URLConnection等。 ...
java统一复习 5目录 目录 １ 基础篇 ４ 一、JDK常用的包 ４ 二、 Get和Post的区别 ４ ...十一、 Page和PageContext的区别 ７ ...十二、 Ajax总结三、 Java多态的具体体现 ４ ...四、 StringBuffer StringBuilder String 区别 ５ ...
Java面试知识点大全 知识点复习大纲目录 １基础篇 ４一、JDK常用的包 ４二、 Get和Post的区别 ４三、 Java多态的具体体现 ４四、 StringBuffer StringBuilder String 区别 ５五、 Hashtable与HashMap的区别 ５六、 九大隐式对象 ５七、 ...
企业面试遇到的问题02 1、你们在数据库上有没有使用...如果一个表中某些列常用，而另外一些列不常用，则可以采用垂直分割，另外垂直分割可以使得数据行变小，一个数据页就能存放更多的数据，在查询时就会减少I/O 次数。其缺点是需要管理...
java面试题 目录 目录............................................................................................................................... １ 基础篇.......................................................
精通C语言指针 指针被誉为C语言的精髓、C本质上是加了一层语法糖的汇编，引进当时先进的函数，保留了汇编强大的地址直接访问功能 —— 指针，使其高效灵活。本课程是黄强老师对于指针的一次专题讲解，相信能给大家带来收获！ a:0:{}
