怎么在nutch中实现wap端新浪微博的模拟登陆

yifeng0705 2015-07-14 06:10:09

如题，怎么在nutch中实现wap端新浪微博的模拟登陆

...全文

150 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Nutch1.7二次开发培训讲义之腾讯微博抓取分析

其中内容均为前段时间研究开源搜索引擎时搜集参考的资料，非常齐全包含的内容有： Computing PageRank Using Hadoop.ppt Google的秘密PageRank彻底解说中文版.doc JAVA_Lucene_in_Action教程完整版.doc Java开源搜索引擎.doc Linux下Nutch分布式配置和使用.pdf Lucene+Nutch源码.rar Lucene学习笔记.doc nutch_tutorial.pdf nutch二次开发总结.txt nutch入门.pdf nutch入门学习.pdf Nutch全文搜索学习笔记.doc Yahoo的Hadoop教程.doc [硕士论文]_基于Lucene的Web搜索引擎实现.pdf [硕士论文]_基于MapReduce的分布式智能搜索引擎框架研究.pdf [硕士论文]_基于Nutch的垂直搜索引擎的分析与实现.pdf 一个例子学懂搜索引擎(lucene).doc 中文搜索引擎技术揭密.doc 九大开源搜索引擎介绍.txt 基于Nutch的搜索引擎技术.pdf 基于开源工具搭建小型搜索引擎.pdf 整合开源工具的小型搜索引擎构建.pdf 用_Hadoop_进行分布式并行编程.doc

Hadoop API帮助文档，学习Nutch和Hadoop必备

Nutch中如何实现中文分词功能 Nutch对中文查询时默认采用的分词器为NutchAnalyzer,对中文默认采用单字切分.这种效果不是很理想，我们可以自定义切词器，以实现对中文支持，注意网上对如何添加中文分词功能有很多介绍但不全也不完整，对Nutch添加中文分词一定要在检索端和查询端同时更改。可以采用的两种方式添加对中文的支持. 1.直接修改nutch的系统代码，对默认的分词器代码进行

最近实验室安排了个任务，写一个新浪微博的爬虫，抓取大家的微博内容进行分析。话说都快毕业了，最近还在一家通信设备商实习（工资好少啊），无奈只能抽出晚上的时间来写这个程序。本来想用开源的爬虫的，于是尝试了nutch和heritrix。nutch性能太不稳定了，老是出问题。heritrix功能多，复杂，跑起来也慢。当看到这两篇博客后（http://kcclub.kings

搜索引擎技术

2,760

社区成员

2,052

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章