【请教】app数据爬取

a1769988917 2019-11-03 01:46:33
如题，例如某app需要登录才能访问某个模块，那么java怎么做才能爬取需要登录才能获取的数据？自己有账号
...全文
181 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
莫莫绵 2019-11-04
  • 打赏
  • 举报
 回复
自己写脚本模拟登录。
爬虫入门学习（八）模拟登录丁香园论坛爬取用户信息
爬虫入门学习（八）实战大项目模拟登录丁香园爬取信息 1 目标2 思路3 主要的技术点3.1 模拟登录3.2 抓取用户个人主页4 完整代码5 一些尚待解决的问题 1 目标 模拟登录丁香园，并抓取页面所有人员的基本信息和回复贴子内容。 2 思路 模拟登录丁香园论坛 抓取评论和用户的个人主页链接 抓取用户个人主页信息 数据存储 3 主要的技术点 3.1 模拟登录 模拟登录元素定位基本问题不大。遇到的...
爬取的数据非html格式,网页爬虫 - python爬虫，爬取到的HTML源码是一种编码格式展示的内容，但是具体处理数据的适合就取不到这个值。...
python爬虫，爬取到的HTML源码是一种编码格式展示的内容，但是具体处理数据的适合就取不到这个值。练习爬取的网页：https://detail.tmall.com/item...代码的目的是获取对应手机的型号：def handle_starttag(self, tag, attrs):if tag == 'tr' and not self.finish:for variable, value ...
爬取人民日报_Python ：爬取人民日报新闻
这是未修改前得到的文本样式这里的话可以看到，爬取的文章都是按照日期整整齐齐排列的，所以看起来很舒服方便然后有些可能就算需要json格式来进行保存当时看了下评论区，发现有这个要求的也有，也看到了有人在下方评论写了方法尝试了下，如下图格式修改了是不错，不过看着好别扭（密集恐惧症的朋友就更不推荐了）所以再尝试了下其他方法，主要是想着如果能将刚开始运行得到的文件夹里面的所有txt文件一起转化，然后除了格式...
【爬虫实战】01利用python爬虫并进行数据分析（链家 爬虫）
爬虫实战01——利用python爬虫并进行数据分析 爬取链家二手房相关信息并进行数据分析 {https://sh.lianjia.com/ershoufang/pg} 一、爬虫部分 背景 需求来源于生活 大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据,而爬虫技术是收集数据的一种重要手段 python版本：3.6.5 ，系统环境是windows， 工具包：requ...
爬虫训练（三）：爬取酷狗音乐
今天趁机一鼓作气，把简单爬虫内容一次学习完毕，最后以爬取酷狗音乐排行榜歌曲作为结束，然后对此次学习做一个整理和总结。而且前两篇有些混乱，这里把内容做一次阶段性总结。 一、安装包 爬虫三大包：requests、lxml、BeautifulSoup，根据自己的python配置情况进行安装，这里不再赘述。 二、爬虫简单尝试——爬取整个网页内容 1.请求头的查找 具体参考文章：爬虫训练：第一次真好~ 2....
Java SE

62,626

社区成员

307,258

社区内容

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章