社区
Cloud Foundry
帖子详情
怎么利用 java api 实现 solr+hbase+Lily HBase Indexer 实现全文搜索?
Michael-Ng
2016-02-20 11:02:01
怎么利用 java api 实现 solr+hbase+Lily HBase Indexer 实现全文搜索?
哪位大哥可以给个例子参考参考
...全文
4610
3
打赏
收藏
怎么利用 java api 实现 solr+hbase+Lily HBase Indexer 实现全文搜索?
怎么利用 java api 实现 solr+hbase+Lily HBase Indexer 实现全文搜索? 哪位大哥可以给个例子参考参考
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
肆意飞扬
2017-01-05
打赏
举报
回复
楼主解决了吗?求赐教,现在在做java实现word内容全文搜索,怎么做呢?
javacache
2016-04-14
打赏
举报
回复
你好 楼主,你问的问题得到解决了么,我现在也在关注这个啊,交流一下啊
基于CDH的
Solr
+
Hbase
+KV构建二级索引
1.安装
solr
在CDH主界面,选择“添加服务” 选择“
solr
”,之后点击“继续” 2.安装Key-Value Store
Ind
exe
r 与上面操作雷同 3.构建二级索引 3.1创建测试表 3.1.1创建测试表(phoenix) drop table “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS”; CREATE TABLE “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS” ( ydh varchar NOT NULL PRIMARY KEY, khbh varchar, khdh varchar, kdsj varc
hbase
-
ind
exe
r
hbase
-
ind
exe
r, 便于通过
solr
将
hbase
中的数据变动建立索引
Hbase
二级索引方案
概述 在
Hbase
中,表的 RowKey 按照字典排序, Region 按照 RowKey 设置 split point 进行 shard, 通过这种方式
实现
的全局、分布式索引. 成为了其成功的最大的砝码。 然而单一的通过 RowKey 检索数据的方式,不再满足更多的需求,查询成为
Hbase
的瓶颈,人 们更加希望像 Sql 一样快速检索数据,可是,
Hbase
之前定位的是大表的存储,要进行这样 的查询,往往是要通过类似 Hive、Pig 等系统进行全表的 MapReduce 计算,这种方式既浪费 了机器的计算资源,又因高延迟使得应用黯然失色。于是,针对
HBase
Secondary
Ind
exing 的方案出现了。
Solr
Solr
是一个独立的企业级
搜索
应用服务器,是 Apache Lucene 项目的开源企业
搜索
平台, 其主要功能包括
全文
检索、命中标示、分面
搜索
、动态聚类、数据库集成,以及富文本(如 Word、PDF)的处理。
Solr
是高度可扩展的,并提供了分布式
搜索
和索引复制。
Solr
4 还增 加了 NoSQL 支持,以及基于 Zookeeper 的分布式扩展功能
Solr
Cloud。
Solr
Cloud 的说明可 以参看:
Solr
Cloud 分布式部署。它的主要特性包括:高效、灵活的缓存功能,垂直
搜索
功 能,
Solr
是一个高性能,采用
Java
5 开发,基于 Lucene 的
全文
搜索
服务器。同时对其进行 了扩展,提供了比 Lucene 更为丰富的查询语言,同时
实现
了可配置、可扩展并对查询性能 进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的
全文
搜索
引擎。
Solr
可以高亮显示
搜索
结果,通过索引复制来提高可用,性,提供一套强大 Data Schema 来定义字段,类型和设置文本分析,提供基于 Web 的管理界面等。 Key-Value Store
Ind
exe
r 这个组件非常关键,是
Hbase
到
Solr
生成索引的中间工具。 在 CDH5.3.2 中的 Key-Value
Ind
exe
r 使用的是
Lily
HBase
NRT
Ind
exe
r 服务.
Lily
HBase
Ind
exe
r 是一款灵活的、可扩展的、高容错的、事务性的,并且近实时的处理
HBase
列索引数据的分布式服务软件。它是 NGDATA 公司开发的
Lily
系统的一部分,已开放 源代码。
Lily
HBase
Ind
exe
r 使用
Solr
Cloud 来存储
HBase
的索引数据,当
HBase
执行写 入、更新或删除操作时,
Ind
exe
r 通过
HBase
的 replication 功能来把这些操作抽象成一系 列的 Event 事件,并用来保证写入
Solr
中的
HBase
索引数据的一致性。并且
Ind
exe
r 支持 用户自定义的抽取,转换规则来索引
HBase
列数据。
Solr
搜索
结果会包含用户自定义的 columnfamily:qualifier 字段结果,这样应用程序就可以直接访问
HBase
的列数据。而且
Ind
exe
r 索引和
搜索
不会影响
HBase
运行的稳定性和
HBase
数据写入的吞吐量,因为索引和
搜索
过程是完全分开并且异步的。
Lily
HBase
Ind
exe
r 在 CDH5 中运行必须依赖
HBase
、
Solr
Cloud 和 Zookeeper 服务。
Hbase
同步数据到
Solr
的方案
hbase
ind
exe
r是负责将
hbase
的数据自动同步到
solr
中建立索引,不需要写代码将
hbase
的数据同步到
solr
中创建索引。尽少开发工作,和减少在在并发环境下手工创建索引可能带来性能问题。
Solr
+
hbase
方案
一、
Solr
+
hbase
方案
Solr
是一个独立的企业级
搜索
应用server,它对并提供相似干Web-service的
API
接口。用户能够通过http请求,向
搜索
引擎server提交一定格式的XML文件,生成索引。也能够通过Http Get操作提出查找请求,并得到XML格式的返回结果。
Solr
是一个高性能。采用
Java
5开发。基干Lucene的
全文
搜索
server。同一时候对其进行了扩展。提...
Cloud Foundry
547
社区成员
352
社区内容
发帖
与我相关
我的任务
Cloud Foundry
Cloud Foundry是业界第一个开源PaaS云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。
复制链接
扫一扫
分享
社区描述
Cloud Foundry是业界第一个开源PaaS云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章