webclient获取网页数据？？？？

xingxingsuhuan 2009-09-10 09:09:09

问题是这样，我先模拟post登录了一个网站，登录进去是个frame框架，既然登录进去了，我想获取的是里面某个页面的信息而不是框架的信息。
webClient.UploadData（）我可以获取了框架页网页代码，而我想要的是某个网页代码，我用了webClient.d.DownloadString（）这个方法可以获得的数据不完全，为什么呢？？这个思路是不是有问题？

...全文

49 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

qishichang 2009-09-10

打赏
举报

回复

查找frame src属性，再获取。

近期有工作任务，要获取一个目标网页的数据，然后写了下爬虫，使用了HttpWebRequest和WebClient发现都报429错误，后面采用WebBrowser伪装成浏览器访问，绕过了对方的反爬虫程序，另外目标网页还有一些比较棘手的反爬虫处理，在程序里都已经解决。目标网页地址：https://china.airasiago.com/Hotel-Search?destination=曼谷市中心,+曼谷,+泰国&startDate=2018/06/25&endDate=2018/06/26&adults=2®ionId=6200258&sort=recommended

主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下

本文实例讲述了C#使用WebClient登录网站并抓取登录后的网页信息实现方法。分享给大家供大家参考，具体如下： C#登录网站实际上就是模拟浏览器提交表单，然后记录浏览器响应返回的会话Cookie值，再次发送请求时带着这个会话cookie值去请求就可以实现模拟登录的效果了。如下类CookieAwareWebClient实现在发送请求时都带着cookie。 public class CookieAwareWebClient : WebClient { private CookieContainer cookie = new CookieContainer(); protected o

c#利用WebClient和WebRequest获取京东网页商品信息评价数、商品价格、活动标语等。

开发初衷：为能演示更多的WEB组件，所以写该程序时更多在于考虑能使用到不同组件实现各个功能，所以对各组件的没能展现得较深入。另外由于是利用业余时间所以写得比较仓促，未能演示到利用SOCKET实现的HTTP协议，只利用HttpWebRequest和HttpWebResponse来代替了HTTP协议封装和解吸。开发平台： VB.NET 2005 实现的功能： 1.显示选中区域代码：使用WebBrowser，为用户分析所选中的WEB对象相对应代码。协助定位代码分析。 2.显示当前对象信息：使用WebBrowser，分析当前的用户操作焦点所在的WEB对象信息。协助自动操作。 3.显示所有对象信息：使用WebBrowser，分析页面的所有WEB对象信息。协助定位代码分析。 4.自动登陆：使用WebBrowser，结合..\LoginScript\Script.txt自定义脚本，对指定页面做相应的自动操作。协助自动操作网页。 5.执行脚本：使用WebBrowser，动态向页面嵌入自定义的WEB脚本，对指定页面做相应的自动操作。协助自动操作网页。 6.数据抓取：使用WebBrowser和API，对页面的资源文件做分析，下载到本地并本地化该HTML代码。再利用API重IE缓冲区拷贝对应资源文件到指定目录。 7.页面变化监控：使用HttpWebRequest和HttpWebResponse，对指定页面做周期性的变化监控，并在页面变化时通知用户更新数据。 8.网络蜘蛛：使用WebClient，从一个入口页面开始获取和保存其HTML代码，以广度优先的分析页面上的所有超联接并做爬行移动。其他描述：网页抓取数据后，数据将存到NetSpider\bin\SaveHtml\目录下，NetSpider\bin\SaveHtml\Src\存放相应的缓存数据。自动登陆时，程序将在NetSpider\bin\LoginScript\Script.txt文件检索和监控视窗地址匹配的脚本操作并执行。这里附上http://my.51job.com/my/My_SignIn.php和http://www.baidu.com/两个地址用于演示。在功能菜单启动网络蜘蛛后，数据分析线程将会启动，所解析到的数据将会写入到NetSpider\bin\Data\UrlDB.mdb的Microsoft Office Access数据库。

62,046

社区成员

669,048

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章