asp.net新闻采集系统

[JYJjiayunjie]

我们公司让我一个人做个小型新闻采集系统，关键是我都没有接触过，一点思路都没有，做这个需要什么技术，原理啊什么的有没有源码呢，从网上搜了，但是都不是我想要的，也没有很清楚的代码，我该怎么做呢，头大。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
如果一个人做成什么程度可以？应该如何下手哩

[wu1987116]

获取要采集的网站地址，获取文件源代码，分析。
正则提取

[fengying0529]

你该把你的需求讲清楚点嘛

[JYJjiayunjie]

ziji ding

[wuyq11]

WebRequest HttpWebRequest = null;
WebResponse HttpWebResponse = null;
HttpWebRequest = WebRequest.Create(url);
HttpWebResponse = HttpWebRequest.GetResponse();获取信息，再用正则格式化
看看动网新闻采集系统，下载里资源很多
采集采集

[JYJjiayunjie]

haishi meiyou ren a

[cygmacel]

public string GetHtmlCode(string Url) //获取html页面代码
{
try
{
Uri uri = new Uri(Url);
HttpWebRequest requestPage = (HttpWebRequest)WebRequest.Create(uri);
//requestPage.Timeout = 6000;
WebResponse response = requestPage.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));
//StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.UTF8);
return reader.ReadToEnd();
}
catch (Exception ex)
{
return ex.Message;
}
}

public string GetStartEndHtmlCode(string htmlCode,string startHtmlCode,string endHtmlCode) //截取指定开始,结束位置字符
{
//int startCount = htmlCode.LastIndexOf(startHtmlCode) + startHtmlCode.Length;
//int endCount = htmlCode.LastIndexOf(endHtmlCode) - startCount - endHtmlCode.Length;

int startCount = htmlCode.IndexOf(startHtmlCode);
int endCount = htmlCode.IndexOf(endHtmlCode)-startCount;

try
{
return htmlCode.Substring(startCount, endCount);
}
catch (Exception ex)
{
return ex.Message;
}
}

public string GetTitleUrl(string htmlCode,string RegexString) //根据正则表达式提示章节名称及超链接
{
string MatchVale = "";
string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *('|"")?((\w|\\|\/|\.|:|-|_)+)('|""| *|>)?";
string Reg2 = @"href=(.*?)>(.*?) </a>";
string Reg3 = @">(.*?) </a>";
foreach (Match m in Regex.Matches(htmlCode,Reg2))
{

//MatchVale += (m.Value).ToLower().Replace("href=", "").Trim()+"\r\n";
string temp = Regex.Match(m.Value, Reg).Value.Replace("href=", "").Replace("\"","");
string temp2 = Regex.Match(m.Value, Reg3).Value.Replace(" </a>", "").Replace(">",""); ;
MatchVale+= temp + " " + temp2 + "\r\n";
//MatchVale += m.Value.ToLower().Replace("\"","").Replace("'","") + "\r\n";
}
return MatchVale;
}

[huoyanna91accp]

用到的技术就是您怎么在联网的情况下运用网上提供的人rss
怎么从rss及xml文件中读取并显示在界面上

[niitnanfeng]

up

[Jelindu]

不懂你所说的新闻采集系统，是指自己发布新闻，还是去采集别人的新闻数据？

[JYJjiayunjie]

c/s

[JYJjiayunjie]

c/s的。。大家说的都是b/s的吧，不是我不想说清需求而是老板啥都没有说就给我了，让我做，我都没有接触过，还要和我讨论，他都什么不懂，我郁闷死啦，和他说更生气。哎。。。。还让做成c/s的。这个大部分都是b/s的吗？

[JYJjiayunjie]

谁能给一份需求文档，这个系统的，呵呵，功能复杂简单的都行，我要写写需求，但是找不到。

[wolf11th]

得去看店数据挖掘方面的东西

[JYJjiayunjie]

数据挖掘？

[yjxsf8313]

需求文档。。。。。。。。。。。。。。。

[dojava]

有个网站有,技术还挺先进的.你去看看吧.视采采集器需求分析.兄弟记得给分!

[aujie]

楼主啊，这个问题解决了没？
小弟我也碰到这个问题，请帮一下！

[creatdatabase]

up...我也不知道怎么做,很想知道怎么实现这个功能

[youkuwanhuo]

我也在做采集的东西 思路有了还没有实现 呵呵

[wanggenhu0]

不错，学习一下!!!!!!!11