62,054
社区成员
发帖
与我相关
我的任务
分享C#爬取动态网页内容
最近用C#做一个网络爬虫的网页,对静态页面的抓取已经基本学会了。但抓取动态网页时，老是只抓到了网页中的一部分，其中的动态数据老是抓取不到，希望大神给点资料或者源码学习学习，谢谢！
...全文
请发表友善的回复…
发表回复
repick_bm 2015-07-18
- 打赏
- 举报
这个 sp1234 是个傻逼，鉴定完毕！
人家要的是一个获取动态网页数据的一个方法，或者思路，比如像抓取一些网页上的数据供自己使用，你在那扯什么搜索引擎什么卵，有毛意思，不给思路就别在那说了，打击人家的自信心有啥意思，显示你更牛逼？还是?一看问题就知道他是个菜鸟，菜鸟稳这个问题再正常不过了，有什么好辩论的，真是闲的慌！
billyyong11 2014-06-01
- 打赏
- 举报
请教一下，动态网页如何抓取啊
以专业开发人员为伍 2014-04-07
- 打赏
- 举报
你“希望能找到具体方法”，早被人看穿了——没有具体方法。你就看懂那种“模拟登录”就可以结束这方面学习了。
以专业开发人员为伍 2014-04-07
- 打赏
- 举报
它“讲解得很好”，你却“不是很了解”，这不是自相矛盾嘛。
它不过是把“模拟登录”夸大成什么“爬取动态网页”，你看它的讲解，它哪里提出了什么通用的爬取数亿常见网页的系统设计？它只会针对某一个简单的网页费力地写一堆程序。
rocly 2014-04-07
- 打赏
- 举报
_Derek_ 2014-04-07
- 打赏
- 举报
我已经自己找方法解决了爬取动态网页数据的问题，我在这不是发帖争论的，不过还是要谢谢sp1234的热心回帖。
_Derek_ 2014-04-06
- 打赏
- 举报
我不是找代码来抄，我已经在网上搜过好多资料，但大多数都只是爬取html静态网页的数据。http://www.crifan.com/files/doc/docbook/web_scrape_emulate_login/release/html/web_scrape_emulate_login.html
这个讲解的很好，但是讲到动态数据处理的时候是Python版的，以至于对动态网页的爬取的方法还不是很了解，所以我到这来求助，希望能找到c#爬取动态网页的具体方法，不一定是代码，学习的资料也好。
_Derek_ 2014-04-06
- 打赏
- 举报
汗，不是这个意思，我还是个菜鸟。最近要做一个网页，需要爬取一些动态网页中的数据，所以研究了一下爬虫。。。
以专业开发人员为伍 2014-04-06
- 打赏
- 举报
如果你会自己去寻找参考（而不是只会要代码来抄），那么你现在知道做搜索引擎的人不做这个工作了，你可以先给出其他的成熟行业的软件开者做这个工作的例子也行，你给我一个启发的话我可以帮你找找看有没有什么代码给你找来抄一下。
有些培训班的教师，把什么“正则表达式”吹的神乎其神，没有教会搜索引擎开发网络爬虫的基本原理，而是传播了一堆空想。
以专业开发人员为伍 2014-04-06
- 打赏
- 举报
那么你的意思是说做搜索引擎的人没有你更有头脑想到这些梦想了？
_Derek_ 2014-04-06
- 打赏
- 举报
我不是做搜索引擎的，就是想获取一些动态网页，例如PHP，JSP等网页中的一些数据。
以专业开发人员为伍 2014-04-06
- 打赏
- 举报
你要是想玩儿，就一步步模拟人手工跟网页交互的过程呗，而且要模拟出人脑思维过程。
如果你不是仅仅玩儿而是认真的，如果你写出什么比较实用的小程序，你可以卖给goolge，可以换来几千万美金。
以专业开发人员为伍 2014-04-06
- 打赏
- 举报
搜索引擎从来不爬什么“动态”网页内容。
