我要开发一个搜索引擎,请大家推荐下分布式开发的框架和软件

zmj915 2012-10-18 04:14:09

我要开发一个搜索引擎,请大家推荐下分布式开发的框架和软件.
比较了解的是hadoop.听说还有Corba,Java RMI,Dcom等等。主要是想用在分布式计算。请大家帮我分析下和推荐下最有产品。多谢啦

...全文

198 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

swany 2014-05-27

打赏
举报

回复

是分布式搜索引擎吗，还有ElasticSearch，Compass、Solr、Nutch等。时间过来这么久了，LZ应该已经掌握搜索引擎技术了吧！能分享一下吗，因为我最近也在研究这个，谢谢！

Zookeeper分布式协调 https://www.cnblogs.com/wuxl360/p/5817471.html 发送消息者成为Producer,消息接受者成为Consumer 数据来源 ZooKeeper 集群同一时刻只会有一个 Leader，其他都是 Follower 或 Observer。 kafka 分布式消息队列 http://www.cnblogs.com/likehua/p/3999538.html kafka是一个分布式的、分区的、复制的提交日志服务；提供了类似于JMS的特性，但是

数据使用：数据分析服务、互联网金融、数据建模、医疗病例分析、自然语言处理、信息聚类 scrapy+elasticsearch+django 获取数据深入认识网络知识和编程知识 1、环境配置基础知识 2、爬取数据 3、突破反爬虫 4、进阶 5、分布式爬虫 6、组件搜索引擎 1- 1、正则表达式 2、深度优先和广度优先 3、url去重策略 2- 爬取技术社区、问答网站、招聘网站分析网站结...

文章目录一、分布式整体框架图1.架构eg12.架构eg2 一、分布式整体框架图 1.架构eg1 页面层： 2.架构eg2

1、Java 全文搜索引擎框架Lucene Lucene是目前最受欢迎的Java全文搜索框架，它是一个全文检索引擎的架构，提供完整的查询引擎和索引引擎，文本分析引擎。Lucene为开发人员提供了相当完整的工具包，可以非常方便地实现强大的全文检索功能。官方网站：http://lucene.apache.org/ 2、开源Java搜索引擎Nutch Nutch是一个开源Java实现的搜索引擎。它提供了搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Nutch做到以下功能：每个月取几十亿网..

分布式计算框架是一种先进的软件工具，它可以将计算任务划分为多个子任务，并在多个节点上并行执行。这种框架的设计目标是为了提高计算效率，同时降低计算的复杂性。它通过资源管理器、调度器和通信库等组件的协同工作，实现了在分布式环境下的计算资源管理和任务调度。

Hadoop生态社区

20,811

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章