社区
C#
帖子详情
用webrequest抓取网页实时数据,可能是由于对方服务器缓存的关系,第二次第三次抓取的数据不会变化
suliangdeshushu
2015-01-05 08:27:05
javascrpt的location.reload方法大概1分钟刷新一次数据显示是更新的
但是用webrequest,webresponse去读取流的时候,获取到的内容好几分钟才会更新一次
用webrequest,webresponse获取流的方法如何也像javascrpt的location.reload方法一样大概1分钟能更新一次数据呢?
...全文
1239
2
打赏
收藏
用webrequest抓取网页实时数据,可能是由于对方服务器缓存的关系,第二次第三次抓取的数据不会变化
javascrpt的location.reload方法大概1分钟刷新一次数据显示是更新的 但是用webrequest,webresponse去读取流的时候,获取到的内容好几分钟才会更新一次 用webrequest,webresponse获取流的方法如何也像javascrpt的location.reload方法一样大概1分钟能更新一次数据呢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
sxldfang
2015-01-06
打赏
举报
回复
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); request.CachePolicy = new System.Net.Cache.RequestCachePolicy(System.Net.Cache.RequestCacheLevel.NoCacheNoStore);
sxldfang
2015-01-06
打赏
举报
回复
试试 HttpWebRequest的CachePolicy
网页
分页
数据
的三种
抓取
方式亲测
一、使用第三方工具,其中最著名的是火车头采集器,在此不做介绍。 二、自己写程序
抓取
,这种方式要求站长自己写程序,
可能
对对站长的开发能力有所要求了。 本人起初也曾试着用第三方的工具
抓取
...
爬虫
抓取
时的几个小细节-
缓存
、编码、解析
抓一次该页面,其实这个定期也就是页面
缓存
时间,在页面的
缓存
时间内我们再次
抓取
该
网页
是没有必要的,反而给人家
服务器
造成压力。 就比如说我要
抓取
博客园首页,首先清空页面
缓存
, 从Last-Modified到Expires,...
网页
中的信息
抓取
(stream)
这也要求我们定期的去抓这些新信息,但是这个“定期”该怎么理解,也就是多长时间需要抓一次该页面,其实这个定期也就是页面
缓存
时间,在页面的
缓存
时间内我们再次
抓取
该
网页
是没有必要的,反而给人家
服务器
造成压力...
网络爬虫——
抓取
时的几个小细节
抓一次该页面,其实这个定期也就是页面
缓存
时间,在页面的
缓存
时间内我们再次
抓取
该
网页
是没有必要的,反而给人家
服务器
造成压力。 就比如说我要
抓取
博客园首页,首先清空页面
缓存
, ...
VC中使用CInternetSession
抓取
网页
内容
VC中使用CInternetSession
抓取
网页
内容 2010-09-02 20:23:13| 分类: vc++ MFC | 标签: |字号大中小 订阅 VC: #include "afxinet.h" #include CString url (...
C#
110,561
社区成员
642,566
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章