怎么利用 java api 实现 solr+hbase+Lily HBase Indexer 实现全文搜索？

Michael-Ng 2016-02-20 11:02:01

怎么利用 java api 实现 solr+hbase+Lily HBase Indexer 实现全文搜索？
哪位大哥可以给个例子参考参考

...全文

4607 3 打赏收藏转发到动态举报

写回复

用AI写文章

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

肆意飞扬 2017-01-05

打赏
举报

楼主解决了吗？求赐教，现在在做java实现word内容全文搜索，怎么做呢？

javacache 2016-04-14

打赏
举报

你好　楼主，你问的问题得到解决了么，我现在也在关注这个啊，交流一下啊

1.安装solr 在CDH主界面，选择“添加服务” 选择“solr”，之后点击“继续” 2.安装Key-Value Store Indexer 与上面操作雷同 3.构建二级索引 3.1创建测试表 3.1.1创建测试表（phoenix） drop table “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS”; CREATE TABLE “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS” ( ydh varchar NOT NULL PRIMARY KEY, khbh varchar, khdh varchar, kdsj varc

hbase-indexer, 便于通过solr将hbase中的数据变动建立索引

课程提供所有代码笔记素材以及答疑 1、Lucene框架的熟练应用实现类似百度、京东商城等应用的全文检索效果; 1、Solr简介 2、Solr下载安装以及目录结构介绍 3、Solr应用部署至Tomcat服务器 4、Solr后台管理界面介绍 5、通过managed-schema配置Field以及中文分词器 6、将数据库中的数据导入至Solr索引库 7、通过Solr后台管理界面对索引进行CRUD高亮过滤排序分页 8、通过Solrj实现索引的添加更新 9、通过Solrj实现索引的删除 10、索引的检索_过滤_高亮等操作 11、项目实战应用 12、Solr知识点总结 1、熟练掌握Lucene框架的使用，实现类似百度、京东商城等应用的全文检索效果; 2、ElasticSearch下载安装(window以及linux下安装) 3、集群环境搭建 4、客户端Kibana安装与使用 5、集群管理插件head安装使用 6、java api 操作 ES 7、电商项目实战应用等等 .....

概述在 Hbase 中,表的 RowKey 按照字典排序, Region 按照 RowKey 设置 split point 进行 shard，通过这种方式实现的全局、分布式索引. 成为了其成功的最大的砝码。然而单一的通过 RowKey 检索数据的方式,不再满足更多的需求，查询成为 Hbase 的瓶颈，人们更加希望像 Sql 一样快速检索数据，可是，Hbase 之前定位的是大表的存储，要进行这样的查询，往往是要通过类似 Hive、Pig 等系统进行全表的 MapReduce 计算，这种方式既浪费了机器的计算资源，又因高延迟使得应用黯然失色。于是，针对 HBase Secondary Indexing 的方案出现了。 Solr Solr 是一个独立的企业级搜索应用服务器，是 Apache Lucene 项目的开源企业搜索平台, 其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如 Word、PDF）的处理。Solr 是高度可扩展的，并提供了分布式搜索和索引复制。Solr 4 还增加了 NoSQL 支持，以及基于 Zookeeper 的分布式扩展功能 SolrCloud。SolrCloud 的说明可以参看：SolrCloud 分布式部署。它的主要特性包括：高效、灵活的缓存功能，垂直搜索功能，Solr 是一个高性能，采用 Java5 开发，基于 Lucene 的全文搜索服务器。同时对其进行了扩展，提供了比 Lucene 更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。 Solr 可以高亮显示搜索结果，通过索引复制来提高可用，性，提供一套强大 Data Schema 来定义字段，类型和设置文本分析，提供基于 Web 的管理界面等。 Key-Value Store Indexer 这个组件非常关键，是 Hbase 到 Solr 生成索引的中间工具。在 CDH5.3.2 中的 Key-Value Indexer 使用的是 Lily HBase NRT Indexer 服务. Lily HBase Indexer 是一款灵活的、可扩展的、高容错的、事务性的，并且近实时的处理 HBase 列索引数据的分布式服务软件。它是 NGDATA 公司开发的 Lily 系统的一部分，已开放源代码。Lily HBase Indexer 使用 SolrCloud 来存储 HBase 的索引数据，当 HBase 执行写入、更新或删除操作时，Indexer 通过 HBase 的 replication 功能来把这些操作抽象成一系列的 Event 事件，并用来保证写入 Solr 中的 HBase 索引数据的一致性。并且 Indexer 支持用户自定义的抽取，转换规则来索引 HBase 列数据。Solr 搜索结果会包含用户自定义的 columnfamily:qualifier 字段结果，这样应用程序就可以直接访问 HBase 的列数据。而且 Indexer 索引和搜索不会影响 HBase 运行的稳定性和 HBase 数据写入的吞吐量，因为索引和搜索过程是完全分开并且异步的。Lily HBase Indexer 在 CDH5 中运行必须依赖 HBase、 SolrCloud 和 Zookeeper 服务。

hbase indexer是负责将hbase的数据自动同步到solr中建立索引，不需要写代码将hbase的数据同步到solr中创建索引。尽少开发工作，和减少在在并发环境下手工创建索引可能带来性能问题。

Cloud Foundry

547

社区成员

352

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章