asp.net 数据采集

weiyong922 2006-12-20 02:31:01

现要为公司编辑做一个数据采集的ＷＥＢ程序，谁能给点思路（有例子更好）

...全文

1077 41 打赏收藏转发到动态举报

写回复

用AI写文章

41 条回复

切换为时间正序

请发表友善的回复…

发表回复

weiyong922 2006-12-22

打赏
举报

：）

zhangyunjian1 2006-12-22

打赏
举报

别忘记结帐我很穷

zhangyunjian1 2006-12-22

打赏
举报

1采集页面源代码
2获取中间字符(也就是你所需要的字符)
3循环
4写库

就这么简单这样的程序我写过好几个包括登陆后采集的都可以的!

weiyong922 2006-12-21

打赏
举报

高手一定要帮忙呀

sprider 2006-12-21

打赏
举报

以前做过 ASP.NET/ c#
tom 音乐的抓取程序
两晚上搜集 220M数据库的音乐. 26万条歌曲信息.
QQ:185146447

难得胡涂 2006-12-21

打赏
举报

mark

Edisoncat 2006-12-21

打赏
举报

用WebRequest HttpWebRequest 远程下载对方网页,在用正则过滤数据

weiyong922 2006-12-21

打赏
举报

：）

weiyong922 2006-12-21

打赏
举报

ecmastery(浪淘沙)

----------------------
真心谢谢你

weiyong922 2006-12-21

打赏
举报

com7ecity(经营之道 http://info.7ecity.com/) ( ) 信誉：100 Blog 2006-12-20 20:45:15 得分: 0

晕，我的采集程序在公司，要不就贴上来了，吼吼
------------------------------------------------
这位仁兄厚道，真是多谢了，我邮箱：weiyong922@163.com

zdyguilong 2006-12-21

打赏
举报

学习……

kgdkwxf 2006-12-21

打赏
举报

等待解决

executemylove 2006-12-21

打赏
举报

分析网页源代码.然后找到特征代码.截取想要内容

weiyong922 2006-12-21

打赏
举报

hymxtang 2006-12-21

打赏
举报

学习~

zgmiao 2006-12-20

打赏
举报

取得页面HTML代码的例子上面已经给出不少了
下面的代码是使用正则表达式取得ＨＴＭＬ中内容的代码
Regex regex1 = new Regex(this.NameKey, RegexOptions.Singleline | RegexOptions.IgnoreCase );
MatchCollection collection1 = regex1.Matches(this.ArtHtml);
if (collection1.Count>0)
{
result=collection1[0].Result("${title}");
}

com7ecity 2006-12-20

打赏
举报

晕，我的采集程序在公司，要不就贴上来了，吼吼

ffff2525 2006-12-20

打赏
举报

mark

ecmastery 2006-12-20

打赏
举报

Asp.net 数据采集基类(远程抓取,分解,保存,匹配)
详细参考地址:http://www.opent.cn/article.asp?id=5

#region 日期随机函数
/**********************************
* 函数名称:DateRndName
* 功能说明:日期随机函数
* 参数:ra:随机数
* 调用示例:
* GetRemoteObj o = new GetRemoteObj();
* Random ra = new Random();
* string s = o.DateRndName(ra);
* Response.Write(s);
* o.Dispose();
* ********************************/
/// <summary>
/// 日期随机函数
/// </summary>
/// <param name="ra">随机数</param>
/// <returns></returns>
public string DateRndName(Random ra)
{
DateTime d = DateTime.Now;
string s = null, y, m, dd, h, mm, ss;
y = d.Year.ToString();
m = d.Month.ToString();
if (m.Length < 2) m = "0" + m;
dd = d.Day.ToString();
if (dd.Length < 2) dd = "0" + dd;
h = d.Hour.ToString();
if (h.Length < 2) h = "0" + h;
mm = d.Minute.ToString();
if (mm.Length < 2) mm = "0" + mm;
ss = d.Second.ToString();
if (ss.Length < 2) ss = "0" + ss;
s += y + m + dd + h + mm + ss;
s += ra.Next(100, 999).ToString();
return s;
}
#endregion

#region 取得文件后缀
/**********************************
* 函数名称:GetFileExtends
* 功能说明:取得文件后缀
* 参数:filename:文件名称
* 调用示例:
* GetRemoteObj o = new GetRemoteObj();
* string url = @"http://www.baidu.com/img/logo.gif";
* string s = o.GetFileExtends(url);
* Response.Write(s);
* o.Dispose();
* ********************************/
/// <summary>
/// 取得文件后缀
/// </summary>
/// <param name="filename">文件名称</param>
/// <returns></returns>
public string GetFileExtends(string filename)
{
string ext = null;
if (filename.IndexOf('.') > 0)
{
string[] fs = filename.Split('.');
ext = fs[fs.Length - 1];
}
return ext;
}
#endregion

#region 获取远程文件源代码
/**********************************
* 函数名称:GetRemoteHtmlCode
* 功能说明:获取远程文件源代码
* 参数:Url:远程url
* 调用示例:
* GetRemoteObj o = new GetRemoteObj();
* string url = @"http://www.baidu.com";
* string s = o.GetRemoteHtmlCode(url);
* Response.Write(s);
* o.Dispose();
* ********************************/
/// <summary>
/// 获取远程文件源代码
/// </summary>
/// <param name="url">远程url</param>
/// <returns></returns>
public string GetRemoteHtmlCode(string Url)
{
string s = "";
MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
_xmlhttp.open("GET", Url, false, null, null);
_xmlhttp.send("");
if (_xmlhttp.readyState == 4)
{
s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody);
}
return s;
}

#endregion

fattycat 2006-12-20