求信息采集软件 即思路（顶者有分）

[「已注销」]

求信息采集程序开发思路！
有源码更好,发送到邮箱[e-mail]不胜感激！

[wanjianhong]

帮顶

[wszhoho]

给你发邮件了

[wjxluck]

up

[akt45678]

我也来顶下。

[蓝色木]

先得到html内容
在用正则分析
是图片就下载
WebClient wc=new WebClient();
wc.DownloadFile（"http://community.csdn.net/expert/images/rank/user1.gif",Application.StartupPath+@"\1.gif");

小图片可以这么下载

[蓝色木]

大图片可以试试

using System;
using System.Drawing;
using System.Collections;
using System.ComponentModel;
using System.Windows.Forms;
using System.Net;
using System.IO;
using System.Text;

private void menuItem36_Click(object sender, System.EventArgs e)
{
string FileName;
string Url;
FileName="c:\1.gif";
Url=" if (SavePhotoFromUrl(FileName,Url)){
MessageBox.Show("图片下载成功");
}
else
{
MessageBox.Show("图片下载失败");

}


}

/// <summary>
/// 从图片地址下载图片到本地磁盘
/// </summary>
/// <param name="ToLocalPath">图片本地磁盘地址</param>
/// <param name="Url">图片网址</param>
/// <returns></returns>
public static bool SavePhotoFromUrl(string FileName,string Url)
{
bool Value=false;
WebResponse response = null;
Stream stream = null;

try
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);

response = request.GetResponse();
stream = response.GetResponseStream();

if( !response.ContentType.ToLower().StartsWith("text/") )
{
Value=SaveBinaryFile(response,FileName);

}

}
catch(Exception err)
{
string aa=err.ToString();
}
return Value;
}
/// <summary>
/// Save a binary file to disk.
/// </summary>
/// <param name="response">The response used to save the file</param>
// 将二进制文件保存到磁盘
private static bool SaveBinaryFile(WebResponse response,string FileName)
{
bool Value=true;
byte []buffer = new byte[1024];

try
{
if(File.Exists(FileName))
File.Delete(FileName);
Stream outStream =System.IO.File.Create( FileName );
Stream inStream = response.GetResponseStream();

int l;
do
{
l = inStream.Read(buffer,0,buffer.Length);
if(l>0)
outStream.Write(buffer,0,l);
}
while(l>0);

outStream.Close();
inStream.Close();
}
catch
{
Value=false;
}
return Value;
}








本文转自【网上潮州】：http://www.imcz.cn/ShowPost.asp?ThreadID=19694

[flythere]

帮你顶下

[a2068879]

什么东东~~乱

[yagebu1983]

[Quote=引用 9 楼 iuhxq 的回复:]
http://www.svnhost.cn/Article/Detail-120.shtml

http://www.svnhost.cn/Article/Detail-116.shtml

http://www.svnhost.cn/Article/Detail-115.shtml

http://www.svnhost.cn/Download/?k=%E8%9C%98%E8%9B%9B
[/Quote]
up!!

[GOUXIAOQIANG701222]

顶顶

[JeffChung]

顶，据说有分

[caofan520]

发送请求到要采集的页面

返回HTML代码

处理HTML代码

处理完的HTML写入数据库

[优途科技]

顶顶你把。

[「已注销」]

源码片段也可！
分不够可以另开一贴！

[bonnibell]

引用System.Net 空间

for(int i=1;i<=106;i++)
{

string strUrl = "http://****************/listall.asp?"+i+"&order=id&ifgood=&stype=txt";
WebClient client = new System.Net.WebClient();
　 byte[] page=client.DownloadData(strUrl);

string strInputHtml = Encoding.Default.GetString(page);

foreach(Match m in Regex.Matches(strInputHtml,@"(.*)"))
{
try
{
string strRegexResault = m.Groups[1].Value.ToString();
string strName = m.Groups[3].Value.ToString();
//Response.Write(strName);
//Response.Write("
");
strRegexResault = strRegexResault.Insert(0,"http://********8/");
string strSql = "INSERT T_LeasePerson(SubName,FileName) VALUES ('"+strName.Trim()+"','"+strRegexResault.Trim()+"')";
SqlHelper.ExecuteNonQuery(this.ConnStr,CommandType.Text,strSql);
}
catch
{
continue;
}
}
}


正则表达式有待改进：

@"(.*)")

另一个下载文件页面

string strSql = "select ID,SubName,FileName From T_LeasePerson";
SqlDataReader dtrHtml = SqlHelper.ExecuteReader(this.ConnStr,CommandType.Text,strSql);
while (dtrHtml.Read())
{
try
{
WebClient myWebClient = new System.Net.WebClient();
　 myWebClient.DownloadFile(dtrHtml[2].ToString(),@"E:\douwn\"+dtrHtml[1].ToString()+dtrHtml[0].ToString()+".html");
}
catch
{
continue;

}
}

1：下页面；
2：用正则解析；
3：保存相关内容

[wszhoho]

主要就两个难点，一个是被采集的页面的编码判断，一个是正则匹配，别的，好像没什么复杂的了。

[bonnibell]

自己在网上下东西时常用的

网上有些蜘蛛，爬虫等程序可以参考

[「已注销」]

如果被采集的页面有图片或是其他附件。这个图片、附件如何处理？

[hackztx]

RMB就帮你写！


远程网址
{
网址可以访问(编码问题，源代码获取异常？怎么样处理源代码，如过滤掉所有的html标记，去除所有的\n之类的。。。。。)
网址不可以访问(访问过快，使服务器端暂时关闭？网址不存在？被重定向等)
}

编写正则(string strHtml)
{
//正则编写错误
//正则获取不到结构
//如何编写最优正则
//获取正则结果
}

//很多方面的因素，比如说你要抓取一个大网站的数据，该网站某个资料有分页，有10页，你抓取了几页后断电了，你如何下次运行程序的时候自动续上

[iuhxq]

http://www.svnhost.cn/Article/Detail-120.shtml

http://www.svnhost.cn/Article/Detail-116.shtml

http://www.svnhost.cn/Article/Detail-115.shtml

http://www.svnhost.cn/Download/?k=%E8%9C%98%E8%9B%9B