如何把一个网站上的数据自动抓取到自己的数据库中呢(给一实例)

HFtime 2010-08-26 02:18:13
如何把一个网站上的数据自动抓取过来,自己使用啊?求各位大侠进来晃晃啊!
...全文
680 11 打赏 收藏 转发到动态 举报
写回复
用AI写文章
11 条回复
切换为时间正序
请发表友善的回复…
发表回复
wpj2101928 2010-08-26
  • 打赏
  • 举报
回复
数据采集
李小冲 2010-08-26
  • 打赏
  • 举报
回复
[Quote=引用 7 楼 hftime 的回复:]
引用 4 楼 andyxl 的回复:

引用 2 楼 zhoukang0916 的回复:

这个可要看你自己的技术.Good Luck!

一切问题都不是问题,最后都是时间问题。
+

不是抓去整个页面的数据,而是其中的内容,比如说一个图片库,一个文章库
[/Quote]
还是先把页面的html拿下来吧,然后再利用正则,取出你想要的内容。
楼上说的抓的整个页面都包括你要的内容了。
ljsheng 2010-08-26
  • 打赏
  • 举报
回复
数据采集
zxqiangwhere 2010-08-26
  • 打赏
  • 举报
回复
楼主,这个你先得去分析你要抓取数据的页面,分析页面的源码
然后将页面源码抓取过来,写正则表达式,过滤页面源码,得到你想要的数据
这个就是常说的小偷程序啊,
本人写过一个,源程序不方便在这边帖,如果需要,可以给我留言,我发给你
HFtime 2010-08-26
  • 打赏
  • 举报
回复
[Quote=引用 4 楼 andyxl 的回复:]

引用 2 楼 zhoukang0916 的回复:

这个可要看你自己的技术.Good Luck!

一切问题都不是问题,最后都是时间问题。
+
[/Quote]
不是抓去整个页面的数据,而是其中的内容,比如说一个图片库,一个文章库
HFtime 2010-08-26
  • 打赏
  • 举报
回复
帅哥,怎么用这种鄙视的态度了,当你还是菜鸟的时候,你就没有菜的时候?我不相信!
wuyq11 2010-08-26
  • 打赏
  • 举报
回复
webclient抓取网站内容
httpwebrequest
System.Net.WebClient wc = new System.Net.WebClient();
wc.Credentials = System.Net.CredentialCache.DefaultCredentials;
Byte[] pageData = wc.DownloadData(PageUrl);
string Content= System.Text.Encoding.Default.GetString(pageData);


andyxl 2010-08-26
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 zhoukang0916 的回复:]

这个可要看你自己的技术.Good Luck!

一切问题都不是问题,最后都是时间问题。
[/Quote]+
PandaIT 2010-08-26
  • 打赏
  • 举报
回复
这个可要看你自己的技术.Good Luck!

一切问题都不是问题,最后都是时间问题。
PandaIT 2010-08-26
  • 打赏
  • 举报
回复
写一个采集器就好了!简单

62,047

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧