抓取网页，但是里面内容是js填充的。

张海霖 2016-05-03 04:53:31

这个网站可以查询某个淘宝账号的信誉

http://www.kehuda.com/g/x/#username=%E6%97%A0%E6%95%8C
我想抓取他的查询结果，但是发现内容由js填充，而且js是做了一些加密处理。

个人能力有限，不能分析出什么。

现在想要拜求怎么能抓取到信誉，主要是几钻这里的信息。

...全文

138 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

张海霖 2016-05-03

打赏
举报

回复

引用 1 楼 hch126163 的回复:

开发人员工具，查看所有网络请求，找到自己需要的数据来源

不会

hch126163 2016-05-03

打赏
举报

回复

开发人员工具，查看所有网络请求，找到自己需要的数据来源

CasperJS是一个开源的,用JavaScript编写的,基于PhantomJS的导航脚本和测试工具 ,它简化了定义一个完成的导航操作所需的步骤,还提供了很有用的函数封装,方法,和语法糖,它可以完成下面这些常见任务: 定义 & 排序浏览器导航步骤填充 & 提交表单点击 & 跟踪链接捕获网页截图 (还可以截取某一区域) 在远程DOM上进行断言测试记录事件下载资源,包括二进制文件编写功能测试套件,结果保存为JUnit XML文件抓取网页内容

刮刀我的足球网络项目的抓取工具我的目标是抓取topdrawersoccer.com以获取每所DI，DII和DIII大学的所有基本足球信息，然后在这些大学的大学信息站点中搜索并抓取诸如费用， SAT的平均分数，所提供的学位和学生人数。我在使用casperjs和phantomjs时要牢记以下计划。脚步抓取，以获取指向TDS.com域中每个大学信息页的链接。对于每个链接，创建一个大学对象，并填充从TDS.com上特定大学页面抓取的相关字段。一旦返回所有足球数据，请在学校找到基本的大学信息.....需要在此处选择一个域返回所有学校的Json文件及其信息将Json文件拖放到MongoDB中开始构建Ruby Webb应用程序。

学习利用抓取股票信息

crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。 crawlergo 目前支持以下特性：原生浏览器环境，协程池调度任务表单智能填充、自动化提交完整DOM事件收集，自动化触发智能URL去重，去掉大部分的重复请求全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz 支持Host绑定，自动添加Referer 支持请求代理，支持爬虫结果主动推送

霍姆斯克挑战运行应用程序该应用程序使用Sails.js，Node.js和MongoDB。运行此应用程序的前提条件是安装以下程序 Sails.js：：//sailsjs.org/get-started Node.js：： MongoDB： : 启动MongoDB服务器命令： mongod.exe --config mongo.config 注意：确保服务器在默认端口27017上启动启动Sails.js 命令：扬帆起航服务器将启动，并将在以下位置提供：用户界面转到URL：开始抓取单击开始抓取按钮以从抓取项目搜寻中在文本框中键入一个字符以搜索该项目。搜索项目从下拉列表中选择任何项目以获取详细描述。手动填充输入名称，公司名称和其他营养详细信息，然后单击添加数据以保存到数据库。注意：名称是必填字段。因为搜索是基于名称完成的改进领域

87,910

社区成员

224,616

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章