用java爬取数据,不知道该怎么对网页中JS代码进行处理

jojo_0214 2012-01-14 01:38:43

小的近日在用java开源包htmlparser进行对网页中的数据爬取,但是很多网页中都嵌入了JS函数代码,必须鼠标点击,才触发JS函数,从服务器上索取数据(网页的静态地址不变,例如查看评论,收起回复),所以想问一下这样的话,我们可以利用java进行后台处理,即编写java代码运行网页中JS代码,然后获取数据呢?

谢谢。
...全文
301 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
jojo_0214 2012-01-14
  • 打赏
  • 举报
回复
有些道理,那样开销也大,谢谢。
MiceRice 2012-01-14
  • 打赏
  • 举报
回复
有此类开源实现,本质上相当于Java写的浏览器,已经支持很多JS模拟运行,但并不是十分完美。

不过我认为你的需求不应该通过JS模拟执行去获取数据。这种效率太低。如果你的目标网站是固定的话,直接研究JS代码所访问的目标URL,然后直接取目标URL的内容好了。

58,452

社区成员

发帖
与我相关
我的任务
社区描述
Java Eclipse
社区管理员
  • Eclipse
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧