-
本版专家分：3462结帖率 100% -
新闻抓取，由于本人之前没有做过，请尽可能的详细说明一下，或者给个代码，谢谢
我要抓取的地址是http://golf.sina.com.cn/scrollnews.html，里面有不同的类别，我还要抓取他的详细信息，把他的详细信息添加到我的数据库中，如何实现？
谢谢
-
本版专家分：397 -
51aspx 易企通新闻文章采集系统
有源码
-
本版专家分：1739 -
偶是来接分滴……
-
本版专家分：460
-
http://topic.csdn.net/u/20100904/16/e8518e87-8bf2-402f-85f5-edefe427f3ae.html
这个有详细说明，你看下你要找的那个页面的源码，然后用正则匹配一下就可以取到了。
-
本版专家分：22496 -
抓来抓去，百度搜点东西几百页一样的内容。
-
本版专家分：3462
-
我要先读取列表页面，然后读取对应的详细内容页面，如果这么说的话，我要读取两次url？？？
我有点知道思路了，但是因为没有做过这个东西，所以很多东西不知道怎么写....
-
本版专家分：22 -
使用HttpWebRequest对象给要采集的页面发送一个请求，然后可以得到源码！
然后用正则表达式进行过滤！
这是不是所谓的小偷程序？
-
本版专家分：3462
-
我出现一个问题，其他页面可以，但是我http://golf.sina.com.cn/scrollnews.html地址得到的源码是“正在加载数据，请稍等....”，因为他的页面一开始打开要加载一遍，所以我把他加载的时候取到了，里面还是没有数据....怎么办？
-
本版专家分：55083 -
楼主要采集的页面内容是ajax 的，难度很高。
先学采集普通页面的。
-
本版专家分：3462
-
不是学...是做...老大让我做...没招啊...
-
本版专家分：3462
-
现在是一面学一面做....
-
本版专家分：17672
-
其实新浪的新闻是定时自动写js代码的,从以下的文件里面可以看出:
currentJsonArray = new Array();
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/15.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/16.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/17.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/18.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/19.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/20.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/21.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/22.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/23.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/24.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/25.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/26.js");
currentJsonArray.push("http://rss.sina.com.cn/golf/rollnews/27.js");
你只要把http://rss.sina.com.cn/golf/rollnews/15.js~27.js文件通过HttpWebRequest方式下载出数据就行了,里面的数据是rss格式的,可以很容易的解析出来....
-
本版专家分：6790 -
高难度。。顶上去/。。。。。
-
本版专家分：816151
-
- 名人 2012年 荣获名人称号
-
-
状元
2010年 总版技术专家分年内排行榜第一
2009年 总版技术专家分年内排行榜第一
-
- 榜眼 2011年 总版技术专家分年内排行榜第二
-
-
金牌
2011年3月 总版技术专家分月排行榜第一
2011年2月 总版技术专家分月排行榜第一
2011年1月 总版技术专家分月排行榜第一
2010年12月 总版技术专家分月排行榜第一
2010年11月 总版技术专家分月排行榜第一
2010年10月 总版技术专家分月排行榜第一
2010年9月 总版技术专家分月排行榜第一
2010年8月 总版技术专家分月排行榜第一
2010年7月 总版技术专家分月排行榜第一
2010年6月 总版技术专家分月排行榜第一
2010年5月 总版技术专家分月排行榜第一
2010年3月 总版技术专家分月排行榜第一
2010年4月 总版技术专家分月排行榜第一
2010年2月 总版技术专家分月排行榜第一
2010年1月 总版技术专家分月排行榜第一
2009年12月 总版技术专家分月排行榜第一
2009年11月 总版技术专家分月排行榜第一
2009年10月 总版技术专家分月排行榜第一
2009年8月 总版技术专家分月排行榜第一
2009年7月 总版技术专家分月排行榜第一
2009年6月 总版技术专家分月排行榜第一
-
-
那个页面时动态获取的，使用webbrower执行相关JS
-
本版专家分：15338 -
/// <summary>
/// 读取URL
/// </summary>
/// <param name="url"></param>
/// <returns></returns>
private System.String readUrlHTML(System.String url)
{
System.Net.HttpWebRequest request = null;
System.Net.HttpWebResponse response = null;
System.String innerHTML = "";
try
{
request = (System.Net.HttpWebRequest)System.Net.HttpWebRequest.Create(url);
request.Method = "get";
response = (System.Net.HttpWebResponse)request.GetResponse();
System.Text.Encoding encode = null;
try
{
encode = System.Text.Encoding.GetEncoding(response.CharacterSet);
}
catch
{
encode = System.Text.Encoding.Default;
}
System.IO.Stream stream = response.GetResponseStream();
System.IO.StreamReader read = new System.IO.StreamReader(stream, encode);
innerHTML = read.ReadToEnd();
response.Close();
}
catch
{
innerHTML = "";
}
return innerHTML;
}
-
本版专家分：55083
-
接14楼。
其实就直接采集那些 js 文件就得了。
里面的内容非常有规律是 JSON 格式的，比普通的采集还要容易做。
用17楼的那个代码就可以读取到 js 文件源码了，在用正则表达式提取内容。
-
本版专家分：3462
-
关键是对js怎么处理？读取？？全部读取？
-
本版专家分：3462
-
link:"http://sports.sina.com.cn/golf/2010-09-25/10375218162.shtml"
怎么截取link:""中的东西？？用正则...谢谢！！！
-
本版专家分：17672
-
抓取之后当然是截取里面的内容了(17楼的方法可以了),正如winner2050所说,这是其中一个js里面内容,你可以当成用josn格式来处理,也可以用正则来处理
<!--[294,57,28] published at 2010-09-25 11:47:15 from #187 by system-->
var sinaRss = {pubDate:"2010-09-19 11:53", link:"",
item:[
{
category:"高尔夫博客",
cLink:"http://sports.sina.com.cn/golf/blog/index.shtml",
title:"总结希望赛，返回加拿大",
link:"http://blog.sina.com.cn/s/blog_4b16907d0100lp31.html?tj=1",
media:"总结希望赛，返回加拿大",
author:"陈泽山川",
pubDate:"2010/09/25 11:19"
},
{
category:"高尔夫博客",
cLink:"http://sports.sina.com.cn/golf/blog/index.shtml",
title:"直线型球手怎样使右肘放松",
link:"http://blog.sina.com.cn/s/blog_5a6217550100lrtw.html?tj=1",
....
-
本版专家分：55083
-
提取它是非常简单的，
media:"总结希望赛，返回加拿大",
正则表达式：
string p= string.format("{0}:"(.*?)",","前面的标签media");
-
本版专家分：3462
-
我已经实现让js了，可是正则怎么写...呵呵！
我刚看了，15到27，即使新添加信息还是这几个js，但是里面内容我一直读取不到最新，总是差几条数据，等会我好好看看，可是我读取这个js后要读取他的练级，然后再读取连接里的详细内容里的数据...求正则...呵呵！！Regex.Matches这个方法...
-
本版专家分：17672
-
System.Text.RegularExpressions.Regex reg = new System.Text.RegularExpressions.Regex(@"(?is)category:""(?<category>[^""]*?)"",cLink:""(?<cLink>[^""]*?)"",", System.Text.RegularExpressions.RegexOptions.IgnoreCase);
System.Text.RegularExpressions.MatchCollection m = reg.Matches(str); //设定要查找的字符串
for (int i = 0; i < m.Count; i++)
{
Response.Write(m[i].Groups["category"].ToString() + m[i].Groups["cLink"].ToString() + "<br>");
}
-
本版专家分：17672
-
System.Text.RegularExpressions.Regex reg = new System.Text.RegularExpressions.Regex(@"(?is)category:""(?<category>[^""]*?)"",\s+cLink:""(?<cLink>[^""]*?)"",\s+", System.Text.RegularExpressions.RegexOptions.IgnoreCase);
System.Text.RegularExpressions.MatchCollection m = reg.Matches(str); //设定要查找的字符串
for (int i = 0; i < m.Count; i++)
{
Response.Write(m[i].Groups["category"].ToString() + m[i].Groups["cLink"].ToString() + "<br>");
}
-
本版专家分：17672
-
string str = "<!--[294,57,28] published at 2010-09-25 11:47:15 from #187 by system-->\r\n";
str += "var sinaRss = {pubDate:\"2010-09-19 11:53\", link:\"\",\"\r\n";
str += "item:[\r\n";
str += " {\r\n";
str += " category:\"高尔夫博客\",\r\n";
str += " cLink:\"http://sports.sina.com.cn/golf/blog/index.shtml\",\r\n";
str += " title:\"总结希望赛，返回加拿大\",\r\n";
str += " link:\"http://blog.sina.com.cn/s/blog_4b16907d0100lp31.html?tj=1\",\r\n";
str += " media:\"总结希望赛，返回加拿大\",\r\n";
str += " author:\"陈泽山川\",\r\n";
str += " pubDate:\"2010/09/25 11:19\"\r\n";
str += " },\r\n";
str += " {\r\n";
str += " category:\"高尔夫博客\",\r\n";
str += " cLink:\"http://sports.sina.com.cn/golf/blog/index.shtml\",\r\n";
str += " title:\"直线型球手怎样使右肘放松\",\r\n";
str += " link:\"http://blog.sina.com.cn/s/blog_5a6217550100lrtw.html?tj=1\",\r\n";
str += " media:\"总结希望赛，返回加拿大\",\r\n";
str += " author:\"陈泽山川\",\r\n";
str += " pubDate:\"2010/09/25 11:19\"\r\n";
str += " },\r\n";
System.Text.RegularExpressions.Regex reg = new System.Text.RegularExpressions.Regex(@"(?is)category:""(?<category>[^""]*?)"",\s+cLink:""(?<cLink>[^""]*?)"",\s+title:""(?<title>[^""]*?)"",\s+link:""(?<link>[^""]*?)"",\s+", System.Text.RegularExpressions.RegexOptions.IgnoreCase);
System.Text.RegularExpressions.MatchCollection m = reg.Matches(str); //设定要查找的字符串
for (int i = 0; i < m.Count; i++)
{
Response.Write(m[i].Groups["category"].ToString() + "<br>" + m[i].Groups["cLink"].ToString() + "<br>" + m[i].Groups["title"].ToString() + "<br>" + m[i].Groups["link"].ToString() + "<br>");
}
-
本版专家分：3462
-
谢谢，我在这里一直改正则，实在对正则无语了...怎么改都不行，我要的是“link”，你前面给我的“clink”，谢谢你！！！
-
本版专家分：3462
-
谢谢！！我发的帖子中第一次有人这么这么热心的帮我，呵呵！！
-
本版专家分：17672
-
只要link的话正则是:\s+link:""(?<link>[^""]*?)"",\s+
-
本版专家分：3462
-
那如果我js中只有一个link，不用循环，那用正则怎么写？你钢写的是有多个的，如果我确定只有一个怎么写？
string link=什么正则？？
-
本版专家分：17672
-
string test= @"...";
MatchCollection mc = Regex.Matches(test,@"(?<=\s+link:"")[^""]*?(?="",\s+)");
foreach(Match m in mc)
{
m.Value;//就是你要的。
}
-
本版专家分：3462
-
只有一个也要循环？？
正则是一点也看不懂...还真要学学正则...
-
本版专家分：17672
-
论坛里面的n多正则方面的高手,像过客兄和wuyazhe都是专攻正则方面问题的,这些理论上的问题你可以请教他们....
-
本版专家分：3462
-
对了，我对台读取列表的链接后，每个连接对应一个页面。其中一个里有<h1 id="artibodyTitle" style="color:#03005C;" pid="6" tid="12" did="5218423" fid="1321">图文-职业锦标赛郑州站第三轮 黄明杰</h1>
所有页面中<h1 id="artibodyTitle" style="color:#03005C;" pid="6" tid="12" did="5218423" fid="1321">不是完全一样，如果我取“图文-职业锦标赛郑州站第三轮 黄明杰”怎么取？？
-
本版专家分：3462
-
我还是先从基本开始吧...先不去打扰他们...先把基础的整明白，如果遇到问题再问问...呵呵！
-
本版专家分：1187
-
不懂E
-
本版专家分：17672
-
取两个标签内的内容其实有个很简单的方法,即:
(?<=前缀)要取的内容(?=后缀)
(?=<h1[^>].*?>)[^<>]*?(?=</h1>)
-
本版专家分：3462
-
这么简单？？我试试...谢谢！！
-
本版专家分：0
-
这个很简单···我天天做···
-
本版专家分：3462
-
大哥，我第一次做...
-
本版专家分：3462
-
http://sports.sina.com.cn/golf/p/2010-09-25/13595218422.shtml
这个这么截取里面的内容？？
<h1 id="artibodyTitle" style="color:#03005C;" pid="6" tid="12" did="5218422" fid="1321">图文-职业锦标赛郑州站第三轮 严载雄开球</h1>
原本想按照<h1>截取，可是后来发现里面不只是一个<h1>，其中一个<h1>有用，其他的没用，而且后来给我的正则截取不到，取出来的count是0，根本没有值...
-
本版专家分：3462
-
正则错了
原
(?=<h1[^>].*?>)[^<>]*?(?=</h1>)
应该是
(?<=h1[^>].*?>)[^<>]*?(?=</h1>)
位置放错了...杯具...呵呵！
-
本版专家分：3462
-
string str = readUrlHTML("http://rss.sina.com.cn/golf/rollnews/15.js");
//遍历列表查找所有信息查到自己需要的信息
System.Text.RegularExpressions.Regex reg = new System.Text.RegularExpressions.Regex(@"(?is)category:""(?<category>[^""]*?)"",\s+cLink:""(?<cLink>[^""]*?)"",\s+title:""(?<title>[^""]*?)"",\s+link:""(?<link>[^""]*?)"",\s+", System.Text.RegularExpressions.RegexOptions.IgnoreCase);
System.Text.RegularExpressions.MatchCollection m = reg.Matches(str); //设定要查找的字符串
for (int i = 0; i < m.Count; i++)
{
//新闻标题
MatchCollection mc = Regex.Matches(readUrlHTML(m[i].Groups["link"].ToString()), @"(?<=h1[^>].*?>)[^<>]*?(?=</h1>)");
foreach (Match math in mc)
{
Response.Write(math.Value);
}
//新闻时间
MatchCollection mcs = Regex.Matches(readUrlHTML(m[i].Groups["link"].ToString()), @"(?<=span[^>].*?>)[^<>]*?(?=</span>)");
foreach (Match math in mcs)
{
Response.Write(math.Value + "<br/>");
}
//新闻内容
MatchCollection mcsc = Regex.Matches(readUrlHTML(m[i].Groups["link"].ToString()), @"(?<=center[^>].*?>)[^<>]*?(?=</center>)");
foreach (Match math in mcsc)
{
Response.Write(math.Value + "<br/>");
}
}
-
本版专家分：3462
-
那个做出来后太慢，效率太低，帮忙简化一下？？？
-
本版专家分：17672
-
HttpWebRequest(这个还与本地的网络状况有关)与正则解析本身就是很耗资源的操作;如果你赚太慢,可以从以下几个方面去改进下:
1.多线程的方式实现,多开几个线程抓取和解析,像现在流行的网络爬虫就是这样子;
2.如果你抓取的数据量比较大,加入进度条功能,这样可以直观显示抓取和解析的进度;
3.前面说过,sina的那些js文件都符合josn格式的特征,可以采用System.josn类实现解析,效率应该比正则高;
还有,lz刚开始学编程的话建议多看看<<重构改善既有代码的设计>>方面的书,把抓取和解析部分代码提炼并模块化下更好点...
-
本版专家分：3936 -
有个新浪新闻小偷...
-
本版专家分：3462
-
我对正则一点不通，我用的也是你给我的方式，我只是改改，不敢乱动，我现在取出来信息了，但是图片的链接不会了，原本都是两个标签中间的值，但是图片正则不会...所以...