社区
C#
帖子详情
抓取页面数据,403错误,但是浏览器可以打开!
haa17
2011-12-09 12:20:16
抓取的网址: https://api.weibo.com/2/statuses/show.json?source=3675766002&id=3388249202707781
但是每次请求都是返回403错误。
上面的网址是新浪微博开放平台的,新浪不能成每次都返回403错误的。
请问各位大牛怎么回事?
...全文
996
8
打赏
收藏
抓取页面数据,403错误,但是浏览器可以打开!
抓取的网址: https://api.weibo.com/2/statuses/show.json?source=3675766002&id=3388249202707781 但是每次请求都是返回403错误。 上面的网址是新浪微博开放平台的,新浪不能成每次都返回403错误的。 请问各位大牛怎么回事?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
wiki14
2011-12-09
打赏
举报
回复
你确定是这个地址没错?
你确定是用GET方式过去没错?
你确定不需要head信息?
铜臂阿铁木
2011-12-09
打赏
举报
回复
感觉是个common的问题呢。
haa17
2011-12-09
打赏
举报
回复
有没有做过新浪微博开放平台的,给个支持。
铜臂阿铁木
2011-12-09
打赏
举报
回复
一般403就是没有权限访问,需要登录的过程。
WebClient或者HttpRequest需要有权限信息吧。
在我这打开你的那个url,也是Auth faild。
haa17
2011-12-09
打赏
举报
回复
请求方式是get
肖无疾
2011-12-09
打赏
举报
回复
都说了是开放平台,sdk也有得下载,自己看文档吧
http://open.weibo.com/wiki/%E6%8E%88%E6%9D%83%E6%9C%BA%E5%88%B6%E8%AF%B4%E6%98%8E
husunbei
2011-12-09
打赏
举报
回复
都是高手啊!!~~呵呵,我也是学编程的,但我不会,谁能教教我呗
haa17
2011-12-09
打赏
举报
回复
是的。没错。[Quote=引用 5 楼 wiki14 的回复:]
你确定是这个地址没错?
你确定是用GET方式过去没错?
你确定不需要head信息?
[/Quote]
关于抓包返回
数据
正常,
浏览器
请求报
403错误
的解决方法
不知道大家遇到过没有,我们使用诸如Fiddler、Charles进行抓包的时候是正常的,但是当我们将请求的Url链接拷贝到
浏览器
中进行请求的时候,就会
403错误
。
403错误
是我们网络请求中常见的【禁止访问】错误。如下所示,我们在Charles中是正常的,但是在
浏览器
中或者使用Postman进行访问时就会出现
403错误
。 对于这种403禁止访问的错误,我们一般只需要加上对应的header参数即可。具体需要哪些参数,可以将完整的请求拷贝过来,然后进行头信息分析。通常需要的参数如下: req.add_head
rpa使用自带
数据
抓取
方式
抓取
页面
元素
这里我选取搜索框,也就是说我们判断搜索框是否出现,当搜索框出现时则判断
页面
加载完成了,这里为啥不判断这个弹窗呢?这篇文章就到这里啦!记得关注我,获取及时更新,我们可以一起学习、讨论技术,共同进步。今天我们一起看一下如何使用rpa自带的功能来
抓取
自己想要的
页面
元素,这里我们以抖音为例来
抓取
某个领域的作者列表。再判断弹窗是否出现,出现则关闭。想要获取
页面
元素,大概的流程为:确定
页面
元素、分析
页面
元素、使用自带的工具便捷
抓取
元素。
网页
数据
抓取
工具 (谷歌插件 web Scraper)
最简单的
数据
抓取
教程,人人都用得上 Web Scraper 是一款免费的,适用于普通用户(不需要专业 IT 技术的)的爬虫工具,可以方便的通过鼠标和简单配置获取你所想要
数据
。例如知乎回答列表、微博热门、微博评论、电商网站商品信息、博客文章列表等等。 安装过程 在线安装方式 在线安装需要具有可FQ网络,可访问 Chrome 应用商店 1、在线访问web Scraper 插件,点击 “...
Selenium入门必备:学会用代码控制
浏览器
,
打开
网页、找到元素和退出
浏览器
大家好,我是凡哥。 作为一个想要学习Web自动化测试的小白,刚开始接触Selenium时可能会有些迷茫和不知所措。但是,不用担心,通过本文的学习,你将能够初步掌握Selenium的基础应用技能,包括如何用代码控制
浏览器
,
打开
并加载网页,找到并操作其中的元素,以及最后如何优雅地退出
浏览器
! 相信随着不断的实践和学习,你定能成为一名出色的Web自动化测试工程师。接下来,就让我们一起开始这段“陪伴式”学习之旅吧!
系统检测到您正在使用网页
抓取
工具访问_从网站
抓取
数据
的3种最佳方法
halo,大家好,我是特仑苏,今天呢给大家分享一些Python从网站
抓取
数据
的一些方法,希望可以给大家带来一些帮助!原作者:Octoparse团队原出处:作品文(从网站
抓取
数据
的3种最佳方法)/网站名称(Octoparse)原文链接:Best 3 Ways to Crawl Data from a Website在过去的几年中,爬网
数据
的需求变得越来越大。爬网的
数据
可用于不同字段中的评估或预测。在...
C#
110,545
社区成员
642,580
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章