【请教】app数据爬取

a1769988917 2019-11-03 01:46:33

如题，例如某app需要登录才能访问某个模块，那么java怎么做才能爬取需要登录才能获取的数据？自己有账号

...全文

177 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

莫莫绵 2019-11-04

打赏
举报

回复

自己写脚本模拟登录。

python爬虫，爬取到的HTML源码是一种编码格式展示的内容，但是具体处理数据的适合就取不到这个值。练习爬取的网页：https://detail.tmall.com/item...代码的目的是获取对应手机的型号：def handle_starttag(self, tag, attrs):if tag == 'tr' and not self.finish:for variable, value ...

这是未修改前得到的文本样式这里的话可以看到，爬取的文章都是按照日期整整齐齐排列的，所以看起来很舒服方便然后有些可能就算需要json格式来进行保存当时看了下评论区，发现有这个要求的也有，也看到了有人在下方评论写了方法尝试了下，如下图格式修改了是不错，不过看着好别扭（密集恐惧症的朋友就更不推荐了）所以再尝试了下其他方法，主要是想着如果能将刚开始运行得到的文件夹里面的所有txt文件一起转化，然后除了格式...

爬虫实战01——利用python爬虫并进行数据分析爬取链家二手房相关信息并进行数据分析 {https://sh.lianjia.com/ershoufang/pg} 一、爬虫部分背景需求来源于生活大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据,而爬虫技术是收集数据的一种重要手段 python版本：3.6.5 ，系统环境是windows，工具包：requ...

今天趁机一鼓作气，把简单爬虫内容一次学习完毕，最后以爬取酷狗音乐排行榜歌曲作为结束，然后对此次学习做一个整理和总结。而且前两篇有些混乱，这里把内容做一次阶段性总结。一、安装包爬虫三大包：requests、lxml、BeautifulSoup，根据自己的python配置情况进行安装，这里不再赘述。二、爬虫简单尝试——爬取整个网页内容 1.请求头的查找具体参考文章：爬虫训练：第一次真好~ 2....

在写爬虫的时候需要下载一个页面上的附件，比如http://www.jsqts.gov.cn/zjxx/... 这个网站上面的附件，但是直接用jsoup抓取页面的话html里什么都没有，百度了之后知道好多内容是js动态加载的，于是使用了httpunit，模拟浏览器执行完js，但是返回的页面还是不包含附件信息，代码如下：String url = "http://www.jsqts.gov.cn/zjx...

62,628

社区成员

307,259

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章