求C#做一个网页数据采集源码

huangyuancao 2010-03-05 11:39:45
求C#做一个网页数据采集源码

给出来马上结贴
...全文
179 10 打赏 收藏 转发到动态 举报
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
hovoy 2010-11-11
  • 打赏
  • 举报
回复
到现在,都没结贴,楼主很不厚道。
huangyuancao 2010-03-05
  • 打赏
  • 举报
回复
我的思路是:1、发送HttpRequest请求。

  2、接收HttpResponse返回的结果。得到特定页面的html源文件。

  3、取出包含数据的那一部分源码。

  4、根据html源码生成HtmlDocument,循环取出数据。

  5、写入数据库。
现在我要截取的页面源文件已经取出来了
就是数据分析这块没思路
大家给个提示
kyoybs 2010-03-05
  • 打赏
  • 举报
回复
在MSDN里找WebRequest,有示例代码。
winner2050 2010-03-05
  • 打赏
  • 举报
回复
在CSDN 的下载栏目 找找。

那里有我作的采集工具的代码。
浮生若梦丶 2010-03-05
  • 打赏
  • 举报
回复
stning 2010-03-05
  • 打赏
  • 举报
回复
引用 6 楼 huing 的回复:
引用 4 楼 stning 的回复:lz你以为那么简单啊。自己去弄弄,就知道有多少麻烦。前段时间弄了一个。从采集国内,到采集国外。

如果对采集内容不做要求的话,确实很简单哈
什么叫不做要求。简单的说,要采集到分页。要过滤特定内容,要替换内容。这些都是最基本的。
huing 2010-03-05
  • 打赏
  • 举报
回复
引用 4 楼 stning 的回复:
lz你以为那么简单啊。
自己去弄弄,就知道有多少麻烦。前段时间弄了一个。从采集国内,到采集国外。


如果对采集内容不做要求的话,确实很简单哈
stning 2010-03-05
  • 打赏
  • 举报
回复
40分,楼主你去google一个吧,这分你可以剩下呢。
stning 2010-03-05
  • 打赏
  • 举报
回复
lz你以为那么简单啊。
自己去弄弄,就知道有多少麻烦。前段时间弄了一个。从采集国内,到采集国外。
soft_lugy 2010-03-05
  • 打赏
  • 举报
回复
数据分析可以用正则表达式或者用string.IndexOf()

62,046

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧