c# 建一个浏览器，抓包到浏览器接收到的数据，这样的爬虫是不是就不用处理接口加密问题了

weixin_28721987 2019-03-15 06:36:53

最近被淘宝类的接口参数加密和返回数据加密弄得很烦，构想一下是不是可以写一个浏览器获取浏览器接收到的数据（有些数据不在页面完全显示），然后关闭浏览器图片加载。这样的爬虫是不是就不用考虑接口加密什么的问题了，只是稍微慢点。有大神能实现吗

...全文

295 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

泡泡龙 2019-03-16

打赏
举报

回复

cef还是很方便实现这个功能的

橘子皮... 2019-03-16

打赏
举报

回复

cef不太会用，网上资料不多

张天星 2019-03-16

打赏
举报

回复

对，直接用cef去访问，就不需要在乎接口参数的加密解密问题。直接抓取浏览器处理之后的数据

stherix 2019-03-15

打赏
举报

回复

当然可以,你可以用webbrowser或者cef 然后用个代理比如FiddlerCore在中间截取数据(当然篡改也行) 具体实现你可以搜索相关的东西

随着网络的日益普及，JavaScript相关的技术得到了长足的发展，其中JSON（JavaScript Object Notation）逐渐成为主流的网络数据交换格式。相比XML， JSON是一种高效，轻量级，易于理解，且易于处理的数据交换格式。正因如此，JSON在日常编程中容易被忽视，初级程序员会用相对简单的技术手段来处理，这往往为后续的项目开发留下隐患。在本课程中，我们将系统性学习如何处理JSON，包括完整的序列化和反序列化技术，掌握JSON Setting和Attribute操作，使用LINQ To JSON，序列化性能调优，JSON与XML和BSON转化，验证JSON解析变化等。同时对C#开发者，我们将详细地学习、解析开源Json.NET框架。如果您日常工作中需要使用JSON，需要了解JSON在C#和.NET中的最佳实践，甚至想系统性的学习Json.NET框架，或者作为JSON处理的技术储配，那么本课程将适合您。

有些网站的数据在PC端很复杂，参数加密很严重，但是移动APP端的就没那么多加密，所以在遇到有些瓶颈的情况下，可以考虑从网页端转到移动端去抓包，爬取数据。这里有两种方法：一. 使用模拟器下载APP 如果该网站有APP的话，推荐使用逍遥安卓模拟器，可以设置代理，使用fiddler进行抓包。二.使用谷歌浏览器伪装安卓/苹果用户这种方式就比较简单方便，直接修改chrome浏览器的use...

我们日常开发中，如何保证接口数据的安全性呢？个人觉得，接口数据安全的保证过程，主要体现在这几个方面：一个就是数据传输过程中的安全，还有就是数据到达服务端，如何识别数据，最后一点就是数据存储的安全性。今天跟大家聊聊保证接口数据安全的10个方案。

1.问题自从发现Selenium这块新大陆后，许多异步加载、js加密、动态Cookie等问题都变得非常简单，大大简化了爬虫的难度。但是有些时候使用Selenium仍然有一些缺陷，比如现在很多网站数据都是通过json结构的接口来交互，通过分析报文的方式直接发包可以直接拿到json数据，数据不但全而且还很好解析，这比解析html网页容易多了。另一个非常重要的问题就是，很多时候一些接口返...

##1.引言现在随着python火热，学爬虫的人不计其数，防爬虫的手段层出不穷，但防爬虫无非通过3种手段，1.后台限制IP访问次数，这个可以通过使用代理IP破解，2.检测访问来源数据，判定是否是爬虫还是机器人，3.数据传输加密，不在明文传输数据，通过js加密，在加密js文件，或者直接把数据封装成图片等其他格式，不让用户获取到数据本身。针对第2、3点，这里就实现通过在程序里面嵌入一个开源Chro...

110,567

社区成员

642,567

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章