社区
C#
帖子详情
请问下高手们如何过滤一篇新闻网页上的新闻信息 答得好可以给200分
ljjable
2003-12-12 02:13:57
请问下高手们如何过滤一篇新闻网页上的新闻信息,而去掉那些与新闻无关的链接图片,关键问题是找到他们的共性,如163,新浪,中华网等,他们的HTML结构都不一样,能有一个什么技巧去抓住他们的共性从而去抓出他们的新闻内容,麻烦高手们指点指点小弟迷津,谢谢了
...全文
21
14
打赏
收藏
微信扫一扫
点击复制链接
分享
举报
写回复
14 条
回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
taomaintao
2004-01-14
接分来了
打赏
举报
回复
赞
johnsunac
2003-12-29
具体问题具体分析——马克思说。
打赏
举报
回复
赞
himuraz
2003-12-29
具体的网站都要不同的设计!
打赏
举报
回复
赞
ljjable
2003-12-29
up
打赏
举报
回复
赞
zs1024cn
2003-12-29
告诉新浪给你做一个WebService.
打赏
举报
回复
赞
tigase
2003-12-12
参考
string url="http://www.sina.com.cn/news/200312120001.htm"
WebRequest req=WebRequest.Create(url); //构造一个WEB请求
HttpWebResponse hreq=(HttpWebResponse)req.GetResponse(); //构造一个WEB响应
string html="";
Stream s=hreq.GetResponseStream(); //获取WEB响应的数据Stream
StreamReader reader=new StreamReader(s,System.Text.Encoding.GetEncoding("GB2312")); //对数据流作编码转换
//string sline="";
html=reader.ReadToEnd();
txtResult.Text=html;
以上代码获得HTML文本后在分析其格式,当然最好用正则表达式来分析!
如果要做多个网站的通用分析,你可以为不同的网站做不同的规则,这样就可以了!
打赏
举报
回复
赞
karl
2003-12-12
都是新浪,新浪都可以成为新闻供应商了~~~这倒是个不错的买卖~~~你给钱,我给你接口,我的点子怎么样?
打赏
举报
回复
赞
xhzuo
2003-12-12
没有通用的吧,不同的网站他们新闻的格式都不一样。自己挨个分析吧。
打赏
举报
回复
赞
peng_dw
2003-12-12
你想干什么?封锁新闻吗,这是违法的。
打赏
举报
回复
赞
ljjable
2003-12-12
我也想过每个网站独立做一个类似“病毒库”的特征,但如果这样的话,编码特别多,要涉及好多个网站,太麻烦了
打赏
举报
回复
赞
myhex
2003-12-12
我记得新浪的新闻页面上插广告那一段前后都有它服务器程序加的一段html注释。不知道其它的大站上有没有!楼上的说的特征包是有道理的。我在PHP上实现过偷新闻。而且是纯文本的程序,不过仅限新浪。
打赏
举报
回复
赞
Programmersheaven
2003-12-12
唯一的共性就是HTML,若要找共性很难到,新闻抓取器多多少少都有针对性的,否则只能找出一堆垃圾。每个网站独立做一个类似“病毒库”的特征包就行
打赏
举报
回复
赞
Soking
2003-12-12
暂时还没有解决方案
靠肉眼吧·!
打赏
举报
回复
赞
lemong
2003-12-12
正则表达式
打赏
举报
回复
赞
相关推荐
java面试题集中了
好
几篇的搜索的
web服务器将请求转发到servlet容器,servlet容器解析url并根据web.xml找到相对应的servlet,并将request、response对象传递
给
找到的servlet,servlet根据request就
可以
知道是谁发出的请求,请求
信息
及其他
信息
,当...
关于seo优化实用篇
1、
网页
中大量采用图片或者Flash等富媒体(Rich Media)形式,没有
可以
检索的文本
信息
,而SEO最基本的就是文章SEO和图片SEO; 2、
网页
没有标题,或者标题中没有包含有效的关键词; 3、
网页
正文中有效关键词比较少...
How to become a hacker 译文(如何成为一名黑客)
作者:Eric Steven Raymond 译者:刘海粟 ...问及“如何
可以
成为一名神奇的黑客?”。 早在1996年我便注意到,
好
像还没有任何一个 “常见问题”或者网络文档论述过这个重要的问题,于是我决定撰写此文。我相信很多黑
我在淘宝做前端的这三年 — 第一年
转眼已经离职半年多了,早就想写
一篇
工作总结,但由于一直在准备英语考试,又需要处理结婚和房子装修,没想到一拖拖了半年。在淘宝做前端是我第一份签了劳动合同的工作,在这个人才济济的大公司里,接触了非常多的...
Java程序员面试全集(
上
)
- 抽象:抽象是将一类对象的共同特征总结出来构造类的过程,包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为,并不关注这些行为的细节是什么。 - 继承:继承是从已有类得到继承...
在淘宝做前端的这三年 — 第一年
关注“重度前端”专注前端、专注全栈、输出价值助力前端深度学习━━━━前言转眼已经离职半年多了,早就想写
一篇
工作总结,但由于一直在准备英语考试,又需要处理结婚和房子装修,...
有哪些网站用爬虫爬取能得到很有价值的数据?
1、微信
好
友的爬虫,了解一
下
你的
好
友全国
分
布,男女比例,听起来似乎是一个不错的想法,当然你还
可以
识别一
下
你的
好
友有多少人是用自己照片作为头像的,详细的内容
可以
点击这里:Python对微信
好
友进行简单统计
分
析 ...
Java面试题集
答:面向对象的特征主要有以
下
几个方面:- 抽象:抽象是将一类对象的共同特征总结出来构造类的过程,包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为,并不关注这些行为的细节是什么。- 继承:继承是...
Java面试笔试题大汇总(最全+详细答案)
本篇文章来自一位很资深的前辈对于最近java面试题目所做的总结归纳,有170道题目 ,知识面很广 ,而且这位前辈对于每个题都自己测试
给
出了答案 ,如果你对某个题有疑问或者不明白,
可以
电脑端登录把题目复制
下
来然后...
《Java150道面试题全集》
- 抽象:抽象是将一类对象的共同特征总结出来构造类的过程,包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为,并不关注这些行为的细节是什么。 - 继承:继承是从已有类得到继承
信息
创建新类的过程...
Java笔试题含答案
《Java170道面试笔试题全集》 ... Java170道笔试题含答案-涉及java/数据库/Spring框架/JVM/数据结构算法/设计模式相关 2019年4月20日更新题目 ...1、添加二级目录 2、对部
分
问题进行了补充 9/24紧急修改以
下
问题(...
Webx.0-Web2.0:Web2.0
指的是一个利用Web的平台,由用户主导而生成的内容互联网产品模式,为了区别传统由网站雇员主导生成的内容而定义为第二代互联网,web2.0是一个新的时代。抛开纷繁芜杂的Web 2.0现象,进而将其放到科技发展与社会变革...
Java面试题全集
答:面向对象的特征主要有以
下
几个方面: - 抽象:抽象是将一类对象的共同特征总结出来构造类的过程,包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为,并不关注这些行为的细节是什么。 - 继承...
转: 仿《大腕》经典对白
什么EJB啊,HIBERNATE啊,SEAM啊,能用的全都得用
上
, 表现层要可配置、持久层要可替换, 程序最
好
能用一万年, 客户一见面,甭管有事没事, 都得问人家:您准备换框架不? 系统还得能够...
java面试题集汇总
http://blog.csdn.net/jackfrued/article/details/44921941 Java面试题全集(
上
) http://blog.csdn.net/jackfrued/article/details/44931137 Java面试题全集(中) ...
计算机软件-商业源码-水木清华_Delphi精华.zip
计算机软件-商业源码-水木清华_Delphi精华.zip
电商公司组织架构.pdf
电商公司组织架构.pdf电商公司组织架构.pdf电商公司组织架构.pdf电商公司组织架构.pdf电商公司组织架构.pdf电商公司组织架构.pdf电商公司组织架构.pdf电商公司组织架构.pdf
【推荐】人教版高中化学选修五 3.3羧酸 酯第1课时(教案1).doc
【推荐】人教版高中化学选修五 3.3羧酸 酯第1课时(教案1).doc
Python库 | nanohttp-0.26.0.tar.gz
资源
分
类:Python库 所属语言:Python 资源全名:nanohttp-0.26.0.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
核心素养视域
下
深度学习的操作性定义
核心素养视域
下
深度学习的操作性定义
发帖
C#
加入
微信扫一扫
点击复制链接
10.7w+
社区成员
64.2w+
社区内容
.NET技术 C#
申请成为版主
帖子事件
创建了帖子
2003-12-12 02:13
社区公告
让您成为最强悍的C#开发者