13,347
社区成员
发帖
与我相关
我的任务
分享请发表友善的回复…
发表回复
iReachers 2016-03-15
- 打赏
- 举报
提供个思路吧：
1.利用正则表达式分析网页中的连接
2.递归的去爬取网页的链接
3.为了去除已经爬过的网站，利用hash
其实写爬虫最多遇到的问题是服务器屏蔽爬虫，所以怎么和服务器斗智斗勇是最关键的。。。
nry19871012 2016-03-14
- 打赏
- 举报
不同的站点 数据匹配是不一样的。并没有通用的。
yanran_hill 2016-02-25
- 打赏
- 举报
去OSChina，看一下NCrawler，据说是C#写的
宋世鹏宇宙信息网 2016-02-06
- 打赏
- 举报
有爬虫的codeproject上面有。不过这个东西运行效率不高。爬虫一定要高效
百度的爬虫是c做出来的。连c++都不能有。
我那时候被面试。上面明确表明linux加c。不能写成c++
因为c++效率也下降了一点。
一枚弹壳 2015-11-23
- 打赏
- 举报
如果你想爬别人网站上面的数据有专门的工具，你可以百度搜索一下，
你要想写代码那就每个网站么个页面都得自己写 。
lcjSharp 2015-11-12
- 打赏
- 举报
都是有针对性的抓吧，不过有些通用的部分可以考虑写出来共享
娃都会打酱油了 2015-11-11
- 打赏
- 举报
网络爬虫都是要定向写的，哪有通用的
hua841692609 2015-11-11
- 打赏
- 举报
YOU MEI YOU
一天到晚游泳的鱼2016 2015-11-11
- 打赏
- 举报
比如你抓网易新闻列表，分析列表结构，url结构，取标题，内容，生成索引
卧槽这是我的昵称吗 2015-11-11
- 打赏
- 举报
你说的是方法？还是爬具体某个网站？后者的话你还是老老实实自己写吧，前者，不就是获取http返回的内容么？c#发个http请求总会吧
