社区
C#
帖子详情
请教抓取ajax数据
petroe
2010-12-16 12:42:41
请教抓取AJAX数据,这个你们懂的。有源码最好。给出思路也行,越详细越好。
只要有帮助就给分。感谢感谢
...全文
673
26
打赏
收藏
请教抓取ajax数据
请教抓取AJAX数据,这个你们懂的。有源码最好。给出思路也行,越详细越好。 只要有帮助就给分。感谢感谢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
26 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LoveJVM
2011-09-19
打赏
举报
回复
要实现这种功能,必须在能读到浏览器的上下文,firebug做为浏览器的插件,单独拿出来来不行
petroe
2010-12-21
打赏
举报
回复
对此我表示悲剧。虽然里面有人提及部分方法,但都不是很好。感谢你们
结贴
petroe
2010-12-20
打赏
举报
回复
不过不知道firebug是怎么实现的。有人能指点一下吗?
petroe
2010-12-20
打赏
举报
回复
我表示遗憾。这几天的回答基本都是围绕webbrower这个控件的。我相信这个不是解决这个唯一办法,应该有更优解,不过感谢楼上几位的回答。像firebug就轻松实现了
KnowKjava
2010-12-19
打赏
举报
回复
有点难度哈
qldsrx
2010-12-19
打赏
举报
回复
[Quote=引用 20 楼 yangheation 的回复:]
http://blog.csdn.net/yangheation/archive/2010/12/17/6082661.aspx
[/Quote]
你这个类有什么用?不过是对WebBrowser的重新包装而已,没有任何功能的添加,仅仅屏蔽了一些不用的功能,判断了下当前WebBrowser的状态,功能变少了。至于AJAX实际操作部分一点都没有提及。
wrexx
2010-12-17
打赏
举报
回复
值得学习下
yixiangling
2010-12-17
打赏
举报
回复
用 fiddler2 这个
http://www.fiddler2.com/
keyalin
2010-12-17
打赏
举报
回复
怎么样分析是个难点
Carpathia
2010-12-17
打赏
举报
回复
ajax也是一个WEB请求,只不过这个请求是异步的,所以和普通的抓取网页的代码步骤相同,唯一的区别是你要分析它的AJAX请求的地址,抓AJAX和抓普通网页的代码一样的
petroe
2010-12-17
打赏
举报
回复
我也同意。
HttpWebRequest
ajax操作 response.responseText
这两部怎么来的呢?
jhabb
2010-12-17
打赏
举报
回复
[Quote=引用 5 楼 wuyq11 的回复:]
winform编程的webbrower控件来获取ajax动态生成的内容。
HttpWebRequest
ajax操作 response.responseText
Ajax WebSpider网络爬虫
[/Quote] 同意楼上
petroe
2010-12-17
打赏
举报
回复
丢前面看看
没有访问权限
2010-12-17
打赏
举报
回复
http://blog.csdn.net/yangheation/archive/2010/12/17/6082661.aspx
petroe
2010-12-16
打赏
举报
回复
无论数据是怎么来的,浏览器显示出的样子(包括异步获取的数据)
就是我要抓取的。
因为要抓的数据比较多,分析ajax请求服务器地址不现实
wolftop
2010-12-16
打赏
举报
回复
不懂说啥
在路上20130607
2010-12-16
打赏
举报
回复
抓取AJAX数据
不清楚你要达到什么效果
yongchaochu
2010-12-16
打赏
举报
回复
人生如梦兄向来都是给个链接,可以理解
petroe
2010-12-16
打赏
举报
回复
冰天雪地跪求解答
petroe
2010-12-16
打赏
举报
回复
[Quote=引用 5 楼 wuyq11 的回复:]
winform编程的webbrower控件来获取ajax动态生成的内容。
HttpWebRequest
ajax操作 response.responseText
Ajax WebSpider网络爬虫
[/Quote]
HttpWebRequest
ajax操作 response.responseText
Ajax WebSpider网络爬虫
这几部能详细些吗?我按照你说的和我之前获取的一样
加载更多回复(4)
Nslove速递交友系统 v5.0
比较可以的程序 想
请教
大家一起研究 ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ News Speed Love / 速递交友 ┃ ┃ 程序版本:Nslove Version 5.0.0 ┃ ┃ 版权所有: 速递交友(nslove.com) ┃ ┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫ ┃ News Speed Love ┃ ┃ Copyright 2003-2008 nslove.com - All Rights Reserved. ┃ ┃ nslove is a trademark of nslove.com ┃ ┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫ ┃【版权声明】 ┃ ┃ 本软体为共享软体(shareware)提供个人网站免费使用。 ┃ ┃ 非经速递交友书面授权许可,不得将之用于盈利或非盈利性的商业用途。 ┃ ┃ 为适应实际的计算机应用环境或者改进其功能、性能,可以进行必要的修改 ┃ ┃ 但不得去除速递交友的版权标示,不得将修改后版本进行任何的商业行为。 ┃ ┃ 本软体为免费软件,用户自由选择是否使用,在使用中出现任何问题而造成 ┃ ┃ 的损失速递交友不负任何责任。 ┃ ┃ 使用该软件必须保留速递交友的版权声明,将该软件从原有自然语言文字转 ┃ ┃ 换成另一自然语言文字的,仍应注明出处。 ┃ ┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫ ┃ 文件名称:Nslove5.0功能说明 ┃ ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛ 安装要求: 安装环境:Windows2000以上,IIS5.0以上,商业版需要安装MSSql 2000以上,安装前请确保您满足安装环境。 组件要求:FSO读写权限,Adobe.Stream组件,邮件组件(如:Jmail),上传组件,水印组件 运行环境:ASP+Js+
Ajax
+XML 软件大小:22.6M 软件类别:国产软件|交友会员 软件语言:简体中文 软件授权:免费版 演示地址:http://www.nslove.com 相关链接:http://www.nslove.com 软件介绍: 1、Nslove5.0采用缓存+标签+模板重新设计核心,程序代码与模板分离,后台提供模板修改美化!语言环境ASP+SQL存储过程,支持达百万会员,结合
Ajax
无刷新设计,提高用户的使用体验。布局方式Div+CSS设计提高访问速度!各栏目可生成静态html。 2、后台提供会员资料采集,可采集世纪佳缘、嫁我网会员等,如需要采集另外网站与本人联系。采集系统用类设计,分析用正则分析,速度非常快,大约1.5秒采集一个会员资料包括头像下载到本地,一夜之间可以达到百万用户
数据
。 3、支持二级域名设置:可对各个栏目进行二级设计,当然服务器需要二级域名支持,自由命名自由指定。 4、支持国家、省州、市区分站生成,并且各个分站会员自动匹配 5、支持学校分站生成,可建立各学校的交友网分站 6、会员注册资料包括基本信息、详细信息、联系信息等,注册步骤基本按这个顺序注册,只要注册完第一步,可登录之后再注册。注册完发送邮件进行激活,并且有16位激活代码!用户必须激活。会员注册以邮件地址为注册名!会员每天登录都会自动发送一封邮件,可作宣传或者服务使用,邮件内容可以后台设置! 7、用户注册可推荐、机构加盟注册,推荐与机构都可进行提成,提成可在后台设置提成比率! 8、注册完成生成个人主页,会员拥有自己的个人资料主页!可自由选择模板,更具个性化。 9、会员认证:身份证、头像、视频认证及上传房产证、婚育证、职业证等,多达22项认证,只要认证5项,即可得到5星认证会员。 10、头像提供本地上传、视频拍照,头像可在线进一步处理,可翻转、放大、缩小等操作! 11、头像可以设置显示模式:所有人可见、会员可见、VIp会员可见、推荐会员可见、金币支付可见、密码可见等几项! 12、会员可以发布征婚信息,更加快速的征友征婚!可自由发送或者关闭! 13、有接收到邮件信息,系统会在右下角上升一个小窗口,提示邮件信息及类别! 14、会员可添加专递对象,可对会员发送置顶邮件,让对方不得不看邮件内容!达到醒目作用,自由申请 15、会员可申请服务:如升级VIP、明星榜(总站、地区分站)等服务,只要金币足够可以自由申请 16、支持在线聊天、会员可以邀请对方进行在线聊天,可以立即更详细了解对方。 17、会员可以参与网站赚钱计划,普通会员提供推广代码,只要对方浏览该网址,并没有注册但是以后只要访问并注册,也属于该会员的推广会员,推广会员可参与拥金提成,在交友的同时也可以参与赚钱是个不错的地方。对于婚介机构有自己的推广代码,提成比率是不同!提成比率可以后台设置。 18、栏目说明:博客日记、网友相册、线下活动、1+1约会、群组圈子、拼客、试客、恋爱诊所、话题(辩论型)等。 19、撰写日记可创建属于自己的日记,可生成静态的html文件。发布日记有金币操作。可设置一天操作几次,防止刷金币问题,也可以作为管理员推广某个栏目提高人气方法,如今天对某个栏目设置金币赠送,让会员都来参与。其它栏目也有这个功能。 20、用户可创建相册,生成静态相册本。文件数由后台设置!相册图片来源可以本地批量上传、视频拍照、远程
抓取
保存到本地。 21、支持用户创建群组功能!创建个数,由后台管理设置!群组方便有相同兴趣组成一个群落!群组可以创建论坛版块、相册等。可设置群组管理员、可升级群组等级(普通群、高级群、超级群、无限群),等级后台可以设置!群组可选择模板生成! 22、发布聚会活动,婚介机构会员可以发布、可申请服务如场地提供、志愿者服务、主持人、电视媒体等! 23、1+1约会,会员可以找对方发起私人约会,可对大众发起公开约会。 24、可发布和参与拼客、试客信息,借与交友网站会员宏大,可以提高会员活跃,在交友的同时有另外一份礼物! 25、恋爱诊所提供会员提问问题解决问题的地方! 26、升级VIP、VIP用户有更高的权限,有时间期限!明星榜提供会员自我推荐,成功率可成倍增长。推荐有时间限制及费用要求 27、成功故事,会员成功交友可以发布,让大家来分享他的快乐,可创建一个两个人的空间,可以发布成功经验、可以上传相册等,可以选择自己的模板生成静态 28、会员管理操作更人性化、无需频繁的跳转窗口,提交保存只会跳出一个小窗口即可保存! 更多功能将会在后续进行补充或者到官方论坛查看:http://www.nslove.com/bbs/ ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ 福建速递交友网络科技有限公司 ┃ ┃ 网址:http://www.nslove.net、http://www.nslove.net ┃ ┃ 地址:福建省厦门市集美区凤林下头37号 ┃ ┃ 电话:0592-6250838 ┃ ┃ 手机:013459256001 ┃ ┃ 主机事业部:info@nslove.com ┃ ┃ 网站事业部:love@nslove.com ┃ ┃ 在线联系:QQ 10689579 MSN:Ns_L@hotmail.com ┃ ┃ 详细联系方法:http://www.nslove.cn/email.asp ┃ ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛
python爬虫
抓取
数据
时失败_python爬虫 大佬
请教
下 为什么爬取的
数据
有时能爬到 有时有爬不到, 代码如下:...
import timeimport requestsfrom lxml import etreeimport pymysqlclass GuPiao_spider():def __init__(self):self.headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:70.0) Gecko/20100101 Firefox/70...
网络爬虫爬取动态网页
数据
对于动态网页的
数据
可以直接使用模拟浏览器运行的方式进行实现,这样做就可以不用管网页内部是如何使用JavaScript渲染页面的,也不用管
Ajax
请求中到底有没有加密参数,在浏览器中看到是什么样的内容,
抓取
的结果便是什么样的内容。,Selenium的Alert类中提供了text属性、 accept()方法、 dismiss)方法和send_keys()方法,前三个属性或方法的作用与确认框中的作用相同, send_keys()方法用于接收用户输入的内容。WebDriver类中定位单个元素的方法如下所示。
jQuery环境下
数据
抓取
的重要性及实践应用
随着数字化时代的到来,网页
数据
抓取
日益凸显其重要性且日趋复杂。鉴于网页技术的飞速进步,对Jquery环境下
数据
抓取
的深度研究至关重要,特别是如何将理论知识运用于实际操作之中。1.理解jQuery在网页中的作用凭借其卓越的JavaScript库
用php get出
数据
后js调用,
请教
php取到的
数据
集后,如何用到javascript
在练习那种php和HTML混合的页面,php从
数据
库取出
数据
后循环输出,那么链接的javascript页面如何获取那个每个
数据
相对应的id值,是用来栏目分类的var fi= document.getElementById(lanmu).value;php页面里alert只显示出fi ,不能显示相应value里的id值回复讨论(解决方案)页面还没有加载完,dom对象没有初始化, 所以document...
C#
110,567
社区成员
642,567
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章