大佬们，请教个关于java爬虫的

Asche910 2018-03-23 09:17:18

就是最近想做个图片爬取的应用，目标地址是
http://huaban.com/partner/uc/aimeinv/pins/?md=ucapp

查看页面源代码，代码中只列举了部分图片url，而使用浏览器查看则自动显示了未列举的那些图片url，
因此该怎样在java爬虫中实现类似翻页的查看其余图片url的行为？？
感激不尽
最后附张男神图片

...全文

340 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

记录自己爬虫的一些感想因工作中会有一点爬虫的任务，从开始接触到现在能爬取一般的网页，就在这里记录自己的经历，我思故我在嘛。但不是专业爬虫工程师，而且本菜鸟完全把这里当做了自己的笔记本，所以语言措辞未加修整，也是把大家当做自家兄弟来看，嘻嘻。那时候刚进公司，什么也不懂，第一个任务是爬取网站上的ip，维护一个小的实时有效ip池，供公司大佬们做爬虫使用。之前也没有接触过爬虫，好在我是接手项目，不是自...

java爬取js动态加载的内容在写爬虫的时候需要下载一个页面上的附件，比如http://www.jsqts.gov.cn/zjxx/... 这个网站上面的附件，但是直接用jsoup抓取页面的话html里什么都没有，百度了之后知道好多内容是js动态加载的，于是使用了httpunit，模拟浏览器执行完js，但是返回的页面还是不包含附件信息，代码如下：String url = "http://www.j...

在写爬虫的时候需要下载一个页面上的附件，比如http://www.jsqts.gov.cn/zjxx/... 这个网站上面的附件，但是直接用jsoup抓取页面的话html里什么都没有，百度了之后知道好多内容是js动态加载的，于是使用了httpunit，模拟浏览器执行完js，但是返回的页面还是不包含附件信息，代码如下：String url = "http://www.jsqts.gov.cn/zjx...

在写爬虫的时候需要下载一个页面上的附件，比如http://www.jsqts.gov.cn/zjxx/... 这个网站上面的附件，但是直接用jsoup抓取页面的话html里什么都没有，百度了之后知道好多内容是js动态加载的，于是使用了httpunit，模拟浏览器执行完js，但是返回的页面还是不包含附件信息，代码如下：String url = "http://www.jsqts.gov.cn/zjx...

这个故事，从头讲起。 2022 年上班第一天，我们做了一个重要决定，就是打造精品学习路线，为初学者指明前进的方向，以及常见的避坑技巧。我承认这是一件非常有挑战的事情，它考验的是一个程序员的综合实力。这个程序员最好是一个 T 型人才，既对某个领域有深入的研究，也对其它技能有所涉猎。因为要深度思考，因为要持续学习，因为要请教大佬，所以咱们学习路线的创作周期被不断拉长。截至目前，咱们一共发布了两套学习路线，分别是： - C/C++ 学习路线之 Windows 开发 - Java 学习路线完整版（

51,410

社区成员

85,981

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章