求数据爬取工具!

design321 2013-05-16 12:27:09
比如我发送一个请求
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1%E8%B7%AF&c=131&src=0&wd2=&sug=0&l=18&b=%2812959958.31,4827798.5;12960974.31,4828131.5%29&from=webmap&tn=B_NORMAL_MAP&nn=0&ie=utf-8&t=1368265744131

将得到一串数据,需要把这一串数据放在数据库里;我再改链接里的参数,又将得到新的一串值。

请问这样的功能,哪个爬虫软件比较适用;我装了一个phpdig,没法实现我现在这样的功能。
谢谢了。

...全文
446 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
design231 2013-05-28
  • 打赏
  • 举报
回复
还是自己用php_curl写了
design321 2013-05-16
  • 打赏
  • 举报
回复
额,在晚了脑袋转不动了,又看了下Xapian等工具,都是以搜索为主的;看来我只能自己写了,但是速度,代理,界面,环境。。。
design321 2013-05-16
  • 打赏
  • 举报
回复
不同参数的链接我可以做一个种子链接池,不要输一次链接才能下载一次。 另外,我是PHP程序员,好多java的东西看不懂,谢谢了。

2,760

社区成员

发帖
与我相关
我的任务
社区描述
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
社区管理员
  • 搜索引擎技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧