python爬取某网站同一url有html源代码和json格式数据的问题,从未所见

weixin_40028200 2018-02-01 09:03:50
https://www.vvpool.com/ 爬取的网站url。点开所见到的是算力 币种等一系列字段 而我所需要的算力字段不在html源代码之中 我打开chrome分析下,发现是在一个xhr中也就是json格式的数据(算力数据正在其中)


而当我请求这个url想获取算力发现请求返回的response却是一个html源代码,我用chrome打开这个url真的是一个网页,但是查看这个页面的源代码却发现是json格式的数据(算力正在其中)!!!!!!见所未见啊、
请问有没有前辈遇到这个问题 如何解决 从未遇到这个问题
...全文
1231 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
ppchaos 2018-02-05
  • 打赏
  • 举报
回复
乱码应该是utf-8的问题吧
sanGuo_uu 2018-02-02
  • 打赏
  • 举报
回复
你在headers里面加上cookie,把它一整个headers都模拟出来。就可以 (我试了下,能出个结果,但都是乱码)
龙博AJAX框架是跨浏览器的JavaScript开放源代码框架集,是构建富web应用的利器. 龙博AJAX框架 4.0 主要更新如下: 主要更改是Ajax,相应的后台和DataBinder,可以直接绑定JSON/XML/SOAP远程服务,由于与以前不兼容所以升级了版本。 在LGPL许可下, 可免费应用于个人或商业目的. 其主要特点为 • 富客户端技术, 可以和任意后端技术(包括但不限于php, .Net, Java, python)或静态的HTML页面. • 包含40多个图形界面控件, 例如标签(Tabs),窗口对话框(Dialog),树型表格(TreeGrid),时间线(TimeLine)等等. • 多浏览器兼容, 包括IE6 , firefox1.5 , opera9 , safari3 和 Google Chrome. • 大量的API文档 和示例. • 不断更新的代码片段供程序员参考. • 极为方便的所见即所得的界面编辑器. Web界面使用拖拽轻松搞定,大大降低开发时间. • 带有代码折叠、代码提示和API智能提示功能的在线编辑器. • 和其他Ajax框架,如jQuery, prototype, mootools充分兼容. • 源代码开放。在LGPL许可下, 可免费应用于个人或商业目的. 如何安装 1.在安装之前,你需要在你的机器上安装PHP5.2 和Apache2.0 服务器。 如果你是Windows用户,请下载wamp集成安装包。该包提供一键式的安装,可以将龙博AJAX框架需要运行的所有程序安装好 2.将该压缩包解压放到Apache的www目录中,例如/longboo/。 3.使用浏览器浏览index.html,龙博AJAX框架支持firefox1.5 IE6 opera9 safari3 Chrome等浏览器
IONIC 功能全演示 ===================== - 使用Ionic提供的UI 组件。Ionic本身是致力于建立统一的移动混合app构建平台,核心基础是Angular+Cordova。 - 通过Angular指令封装,以及预定义的CSS,提供了开箱即用的HTML5 Mobile组件。 - 构建与开发支持,能够直接运行www目录下的index.html进行开发调试。同时也支持发布人员利用gulp构建输出到dist目录 - 利用gulp,同样演示了单元测试以及场景测试。 - [在线演示,内有地址二维码,可手机浏览](http://1.thm1118.sinaapp.com/static/ionic/www/index.html) ## 预览 ![信息卡片](screenshot/card.png) ![下拉刷新](screenshot/pullrefress.png) ![表单元素](screenshot/form.png) ![菜单](screenshot/menu.png) ![列表左滑按钮](screenshot/option.png) ![弹出层](screenshot/pop.png) ![tab](screenshot/tab.png) ![幻灯](screenshot/slide.png) ![图片水平滚动](screenshot/hscroll.png) ![毛玻璃效果](screenshot/blure.png) ![2000条数据搜索](screenshot/search.png) ![输入自动完成](screenshot/autocomplete.png) ![列表自动分组](screenshot/autogroup.png) ![媒体相册](screenshot/galaxy.png) ![chartjs统计图](screenshot/chartjs.png) ![百度统计图](screenshot/echat.png) ![图片延时加载](screenshot/imageload.png) ## 基础环境 纯webapp运行或演示,只需要一个 web server部署即可。 ## 目录结构说明 - www 目录:源码目录 - dist目录:构建输出目录 ## 利于开发,测试和打包部署的nodejs环境 简单开发可以不依赖nodejs环境。但是有了基于nodejs的javascript完整开发周期环境,会极大提升开发效率,保障质量。 - nodejs 最新版。 - 有些node包的安装需要c++编译,x86版本只需要 x86的C++编译器,windows上的x64 c++编译器需要特别设置。 - npm 会很慢,要么使用代理,要么使用国内镜像,比如 [淘宝镜像](http://npm.taobao.org/) , 使用淘宝镜像后,npm命令需要替换成cnpm命令。 - `npm install -g gulp` - `npm install -g ionic` - 如需编译sass的话,安装 [ruby](https://www.ruby-lang.org/zh_cn/),再执行 `gem install sass`(如遇到ssl错误,修改为http源:gem source -a http://rubygems.org/) - `npm install -g node-gyp` - 有的node包依赖python编译,安装 [python2.7](https://www.python.org/) - c++编译环境[MSVStudio 免费版](https://www.visualstudio.com/downloads/download-visual-studio-vs#d-express-windows-desktop).。注意根据studio不同版本指定 --msvs_version=2013 选项 - 安装项目开发依赖包,在项目根目录下运行 `npm install` ### “所见即所得”式开发 - 在项目根目录下运行 `ionic serve`,即可在www目录下开展“所见即所得”的方式开发 - 另外一种方式,在webstorm里对index.html 按debug运行,同样是“所见即所得”的方式开发 ### CROS支持 - 生产环境的 CROS支持要么使用jsonp技术,要么在服务端设置代理。 - 而开发环境下要么 基于不安全做法,服务端api 设置头`Access-Control-Allow-Origin:*" `,要么按如下便捷设置: 基于`ionic serve`, 可以在开发时使用本地代理。ionic.project 内设
龙博AJAX框架是跨浏览器的javascript开放源代码框架集,是构建富web应用的利器.龙博AJAX框架 4.0 主要更新如下: 主要更改是Ajax,相应的后台和DataBinder,可以直接绑定JSON/XML/SOAP远程服务,由于与以前不兼容所以升级了版本。在LGPL许可下, 可免费应用于个人或商业目的. 其主要特点为 • 富客户端技术, 可以和任意后端技术(包括但不限于php, .Net, Java, python)或静态的HTML页面. • 包含40多个图形界面控件, 例如标签(Tabs),窗口对话框(Dialog),树型表格(TreeGrid),时间线(TimeLine)等等. • 多浏览器兼容, 包括IE6+, firefox1.5+, opera9+, safari3+ 和 Google Chrome. • 大量的API文档 和示例. • 不断更新的代码片段供程序员参考. • 极为方便的所见即所得的界面编辑器. Web界面使用拖拽轻松搞定,大大降低开发时间. • 带有代码折叠、代码提示和API智能提示功能的在线编辑器. • 和其他Ajax框架,如jQuery, prototype, mootools充分兼容. • 源代码开放。在LGPL许可下, 可免费应用于个人或商业目的.如何安装 1.在安装之前,你需要在你的机器上安装PHP5.2+和Apache2.0+服务器。 如果你是Windows用户,请下载wamp集成安装包。该包提供一键式的安装,可以将龙博AJAX框架需要运行的所有程序安装好 2.将该压缩包解压放到Apache的www目录中,例如/longboo/。 3.使用浏览器浏览index.html,龙博AJAX框架支持firefox1.5+ IE6+ opera9+ safari3+ Chrome等浏览器

37,718

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧