81,092
社区成员
发帖
与我相关
我的任务
分享求助 抓取去哪儿的数据
最近接到个任务 说是 要求我 去尝试 抓取 去哪儿的机票信息 我用htmlunit去抓取 抓到的一直是那种没有航班的数据...谁知道原因吗 在网上查 信息好少 还有人说是去哪儿进行了加密处理
希望前辈们来聊聊
希望前辈们来聊聊
...全文
请发表友善的回复…
发表回复
teemai 2013-10-09
- 打赏
- 举报
哪有抓取信息这么简单的？首先你要对这个站点的架构以及数据加载方式进行大量的测试和总结，总结出规律你才能很好的爬取数据。这个不是简单的东西。而且现在反爬虫技术越来越成熟，况且想这样靠数据盈利的站，数据更难爬。耐心慢慢来吧。我之前爬大众点评的时候也遇到好多问题。
caiselangren 2013-10-09
- 打赏
- 举报
又沉了
zyrobert 2013-09-30
- 打赏
- 举报
我做过 但是有各种问题 htmlunit不是万能的 去哪儿的ajax二次请求的页面 时而有数据时而没数据
超级菜鸟 2013-09-30
- 打赏
- 举报
可以试试用httpClient直接抓取航班信息整个网页数据，然后进行分析
caiselangren 2013-09-30
- 打赏
- 举报
谁啊 有联系方式吗
tony4geek 2013-09-30
- 打赏
- 举报
昨天好像看见一个人抓取成功了。
caiselangren 2013-09-30
- 打赏
- 举报
不是说 httpClient 只能抓取 静态页面吗 可以抓 js执行后的数据?
tony4geek 2013-09-30
- 打赏
- 举报
http://bbs.csdn.net/topics/390348114
异常异长 2013-09-30
- 打赏
- 举报
有些东西是不在html源代码里的
效林少爷 2013-09-30
- 打赏
- 举报
+1
caiselangren 2013-09-30
- 打赏
- 举报
我试过抓取整个页面 但是那里面没有航班的数据 一直都是： 请稍等,您查询的结果正在实时搜索中...
“还能不能愉快的“剁手”啊？...张姐是小区里面有名的热心肠，也是小区门口超市的老板娘，平日里大家吃的喝的用的都会习惯性地去她们家买。她推荐的东西，性价比确实不错。久而久之，张姐成为了小区里这群...
