获取网页上的内容

祥子爱游戏 2014-04-28 03:01:51
现在在打一个winfrom。解决了编码(正则),一些标记(正则)。
现在遇到一些问题向大家请教。
...全文
577 17 点赞 打赏 收藏 举报
写回复
17 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
祥子爱游戏 2014-05-07
人呢人呢人呢
  • 打赏
  • 举报
回复
祥子爱游戏 2014-05-06
引用 5 楼 caozhy 的回复:
[quote=引用 3 楼 zzx112358 的回复:] [quote=引用 2 楼 caozhy 的回复:] 那些图片可能是随着css下载的,或者ajax异步获取的,或者它们来自一张大图,等等 视频可能来自flash、流媒体等等。 你可以用fiddler或者IE F12 tools(IE 10以上)抓包看看。
我是想获取到他们,抓包可以吗? 我用的是 HttpWebRequest[/quote] 抓包只是让你为自己模拟请求做好准备。你知道了怎么做,才好写程序。[/quote] 怎么写这个请求? 我想找到这个网页下的一个子网页,用GET可以吗,怎么写呢
  • 打赏
  • 举报
回复
祥子爱游戏 2014-05-06
好像是GET,但是我就没找到全面的GET请求方式。 来人帮我啊
  • 打赏
  • 举报
回复
祥子爱游戏 2014-05-05
引用 5 楼 caozhy 的回复:
[quote=引用 3 楼 zzx112358 的回复:] [quote=引用 2 楼 caozhy 的回复:] 那些图片可能是随着css下载的,或者ajax异步获取的,或者它们来自一张大图,等等 视频可能来自flash、流媒体等等。 你可以用fiddler或者IE F12 tools(IE 10以上)抓包看看。
我是想获取到他们,抓包可以吗? 我用的是 HttpWebRequest[/quote] 抓包只是让你为自己模拟请求做好准备。你知道了怎么做,才好写程序。[/quote] 我明白了。就是不知道怎么去写。 我想知道怎么获取下面图片中选中部分的地址(就是http://paikeimg.video.sina.com.cn/stream/Lt-e-tVgQdlVUPpVE5Tw__.flv)怎么写,能给代码最好,在网上找了一下,没找到。
  • 打赏
  • 举报
回复
祥子爱游戏 2014-05-05
引用 9 楼 xiaozhi_5638 的回复:
仅仅只是使用正则 去解析html 然后下载图片 很多时候并不凑效 你还需要分析网页脚本 、模拟脚本请求服务器 、分析服务器返回的内容。 使用chrome浏览器去分析 就已经很不错了 图中左边为脚本请求服务器的地址 右边“Response”表示服务器返回结果 可以看见 它是一串路径文本
视频呢
  • 打赏
  • 举报
回复
爱妮妮妮妮 2014-05-05
up
  • 打赏
  • 举报
回复
祥子爱游戏 2014-05-02
额 这个问题解决不了还 视频是不是也和楼上说的一样
  • 打赏
  • 举报
回复
请叫我卷福 2014-04-30
仅仅只是使用正则 去解析html 然后下载图片 很多时候并不凑效 你还需要分析网页脚本 、模拟脚本请求服务器 、分析服务器返回的内容。 使用chrome浏览器去分析 就已经很不错了

图中左边为脚本请求服务器的地址 右边“Response”表示服务器返回结果 可以看见 它是一串路径文本
  • 打赏
  • 举报
回复
请叫我卷福 2014-04-30
通过 分析html,然后下载图片 这种方式只能下载到静态图片,也就是说这些图片的src属性值会跟随整个页面文档一起传到浏览器 而现在好多网站都是动态加载图片 比如 当页面加载成功后 才通过ajax等技术去加载图片 $(function() { //加载图片... }); 这就要求你分析网页的脚本 看看它是怎样去动态加载图片的 比如动态请求的地址、参数等等 然后你可以通过HttpWebrequest或者WebClient等等去模仿ajax请求 有些网页源html中并不包含图片的真实src,而只是包含图片的一个标示符,当需要显示图片的时候 js(jquery)脚本会以该标示符为参数,请求服务器,服务器返回真实的图片src,然后显示在页面上, <span onclick="showPhoto('20140429050332PJBFBPE25.290');">(+24) PJBFBPE25.290</span> <span onclick="showPhoto('20140429050332PJBFBPE25.291');">(+24) PJBFBPE25.291</span> <span onclick="showPhoto('20140429050332PJBFBPE25.292');">(+24) PJBFBPE25.292</span> <span onclick="showPhoto('20140429050332PJBFBPE25.293');">(+24) PJBFBPE25.293</span> 在showPhoto中: function showPhoto(name) { $.get("XXXX.php",{"name":name},function(src) { //服务器返回的src才是图片的真实路径 $("#imgID").attr("src","www.XXXXX.com/images/" + src); //显示图片 }); }
  • 打赏
  • 举报
回复
祥子爱游戏 2014-04-30
来个新思路啊
  • 打赏
  • 举报
回复
祥子爱游戏 2014-04-28
我只想知道怎么解决问题,源码我下载下来了,只是主页面的源码,没有js的那部分。 还有要请求吗,直接下载不就行了吗
  • 打赏
  • 举报
回复
threenewbee 2014-04-28
引用 3 楼 zzx112358 的回复:
[quote=引用 2 楼 caozhy 的回复:] 那些图片可能是随着css下载的,或者ajax异步获取的,或者它们来自一张大图,等等 视频可能来自flash、流媒体等等。 你可以用fiddler或者IE F12 tools(IE 10以上)抓包看看。
我是想获取到他们,抓包可以吗? 我用的是 HttpWebRequest[/quote] 抓包只是让你为自己模拟请求做好准备。你知道了怎么做,才好写程序。
  • 打赏
  • 举报
回复
jimil 2014-04-28
引用 3 楼 zzx112358 的回复:
[quote=引用 2 楼 caozhy 的回复:] 那些图片可能是随着css下载的,或者ajax异步获取的,或者它们来自一张大图,等等 视频可能来自flash、流媒体等等。 你可以用fiddler或者IE F12 tools(IE 10以上)抓包看看。
我是想获取到他们,抓包可以吗? 我用的是 HttpWebRequest[/quote] 这个问题以前研究过一段时间,我告诉你,当然可以,不过你得分析出来它的URL地址,再用 HttpWebRequest获取,只是ajax你要分析的话,有部分可能获取不了,这得看对方有没有做图片流,安全防护,甚至它是通过程序接口来获取的,这部分数据你可能获取不了或者说,要获取的话成本太高。
  • 打赏
  • 举报
回复
祥子爱游戏 2014-04-28
引用 2 楼 caozhy 的回复:
那些图片可能是随着css下载的,或者ajax异步获取的,或者它们来自一张大图,等等 视频可能来自flash、流媒体等等。 你可以用fiddler或者IE F12 tools(IE 10以上)抓包看看。
我是想获取到他们,抓包可以吗? 我用的是 HttpWebRequest
  • 打赏
  • 举报
回复
threenewbee 2014-04-28
那些图片可能是随着css下载的,或者ajax异步获取的,或者它们来自一张大图,等等 视频可能来自flash、流媒体等等。 你可以用fiddler或者IE F12 tools(IE 10以上)抓包看看。
  • 打赏
  • 举报
回复
祥子爱游戏 2014-04-28
关于图片的问题:有些图片获取不到怎么办? 关于食品的问题:网页中的视频怎么办?下载吗 别给我说去找浏览器的缓存,我想要的不是这个答案。
  • 打赏
  • 举报
回复
相关推荐
发帖
C#
加入

10.6w+

社区成员

.NET技术 C#
申请成为版主
帖子事件
创建了帖子
2014-04-28 03:01
社区公告

让您成为最强悍的C#开发者