社区
C#
帖子详情
后台执行(抓取)网页问题?
duyongfeng1985
2011-06-09 11:06:17
我在后台DLL里需要执行一个页面,同时获取页面返回的值,我试着用过HttpWebRequest和HttpWebResponse,但页面上还要执行一些脚本的,用它们获取的信息是一大堆代码,不是js执行后的。
总结下,我想获取页面执行(呈现后)的页面信息。不知道表达清楚没有,请指点迷津!多谢!
...全文
108
7
打赏
收藏
后台执行(抓取)网页问题?
我在后台DLL里需要执行一个页面,同时获取页面返回的值,我试着用过HttpWebRequest和HttpWebResponse,但页面上还要执行一些脚本的,用它们获取的信息是一大堆代码,不是js执行后的。 总结下,我想获取页面执行(呈现后)的页面信息。不知道表达清楚没有,请指点迷津!多谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
duyongfeng1985
2011-06-09
打赏
举报
回复
[Quote=引用 3 楼 porschev 的回复:]
你的意思是你用HttpWebRequest。。。抓不到AJAX提交显示的数据?
[/Quote]
嗯,可以这么理解
porschev
2011-06-09
打赏
举报
回复
你的意思是你用HttpWebRequest。。。抓不到AJAX提交显示的数据?
duyongfeng1985
2011-06-09
打赏
举报
回复
[Quote=引用 1 楼 porschev 的回复:]
LZ表达的我没看懂。。。。
后台DLL里????
不是JS执行后。。。???
[/Quote]
我在后台DLL(类库)里需要执行一个页面,页面上有一些JS方法会在加载后执行,在JS里还有AJAX调用,我想得到页面执行后打印到页面上的数据,在页面的onload里我已经用window.document.writeln()函数将页面内容清楚了,只在页面上打印出了结果,现在是在用IE打开后能显示没问题,结果也是正确的,但我在类库里抓取页面时它不执行页面里的函数,只在执行服务器代码后,将页面传给我,是没有执行过的页面。
porschev
2011-06-09
打赏
举报
回复
LZ表达的我没看懂。。。。
后台DLL里????
不是JS执行后。。。???
se365363
2011-06-09
打赏
举报
回复
路过 不会
zhgroup
2011-06-09
打赏
举报
回复
把AJAX那部分拿出来,用httpwebrequest/httpwebresponse来模拟客户端提交再分析结果
duyongfeng1985
2011-06-09
打赏
举报
回复
谁给点意见,帮自己顶下……
Python-
抓取
股票信息
学习利用
抓取
股票信息
Linux
抓取
网页
实例(shell+awk)
上一篇博客讲了Linux
抓取
网页
的方式,有curl和wget两种方式,这篇将重点讲Linux
抓取
网页
的实例——
抓取
google play全球12国的游戏TOP排名要
抓取
google play游戏排名
网页
,首先需要分析
网页
的特点和规律:1、google play游戏排名
网页
,是一个就“总-分”形式,即一页网址显示若干排名(如24个),有若干个这样的
网页
组成全部游戏的总排名2、每页网址中,点击每个单独
动态
网页
抓取
——学习笔记
1 动态
抓取
技术简介 异步更新技术——AJAX AJAX(Asynchronous Javascript And XML,异步JavaScript和XML)的价值在于通过在
后台
与服务器进行少量的数据交换就可以使
网页
实现异步更新。这意味着可以在不重新加载整个
网页
的情况下对
网页
的某部分进行更新。一方面减少了
网页
重复内容的下载,另一方面节省了流量,因此AJAX得到了广泛的使用。 爬取使用AJAX加载的动态
网页
里的动态加载的内容有两种动态
网页
抓取
的方法: 通过浏览器审查元素解析真实
网页
地址 使用Seleni
WebSpider蓝蜘蛛
网页
抓取
工具5.1用户手册
本工具可以
抓取
互联网上的任何
网页
,包括需要登录后才能访问的页面。对
抓取
到页面内容进行解析,得到结构化的信息,比如:新闻标题、作者、来源、正文等。支持列表页的自动翻页
抓取
,支持正文页多页合并,支持图片、文件的
抓取
,可以
抓取
静态
网页
,也可以
抓取
带参数的动态
网页
,功能极其强大。用户指定要
抓取
的网站、
抓取
的
网页
类型(固定页面、分页显示的页面等等),并配置如何解析数据项(如新闻标题、作者、来源、正文等),系统可以根据配置信息自动实时
抓取
数据,启动
抓取
的时间也可以通过配置设定,真正做到“按需
抓取
,一次配置,永久
抓取
”。
如何用Python爬数据?(一)
网页
抓取
你期待已久的Python网络数据爬虫教程来了。本文为你演示如何从
网页
里找到感兴趣的链接和说明文字,
抓取
并存储到Excel。(由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开。如有需要,请点击文末的“阅读原文”按钮,访问可以正常显示外链的版本。)需求我在公众号
后台
,经常可以收到读者的留言。很多留言,是读者的疑问。只要有时间,我都会抽空尝试解答。但是有的留言,乍看起来就不明所以了。例如下面
C#
110,538
社区成员
642,577
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章