关于截获其他网页新闻内容

yuhuangc 2010-08-02 11:15:08

各路大侠，我遇到一个问题。自己的网站，想每天更新几条新闻，但是我不想自己每天去维护。
我想通过C#或者JS去截获别人的网页新闻，只要别人的网页内容变了，我自己的内容也同样更新！

...全文

55 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

孟子E章 2010-08-02

打赏
举报

回复

去搜索信息采集器代码或者工具

上一篇《Python 网络爬虫实战：爬取人民日报新闻文章》发布之后，确实帮到了不少朋友。前几天，我好哥们问我：我想爬另一个日报新闻网站，网页结构几乎跟人民日报几乎一模一样，但是我用你的那个代码去爬却爬不下来数据呢？顺着哥儿们发来的网址（网站传送地址：解放日报），我点进去看了一下，界面大概长这样。跟人民日报的主页界面非常相似，都是版面列表 -- 文章列表 -- 文章详情的这种结构。本来我觉得肯定是我这哥儿们代码基础不过关，报的语法错误，先 “嘲讽” 他一波，然后帮他改好就得了。 .

摘要：在因特网日益发展壮大的今天，万维网在其上的通信量已经超过90%，万维网信息的安全问题已经越来越被人们所重视，而作为万维网应用层核心协议的http协议是基础。当网络发生异常时，对网络上传输的数据进行监视和分析，是网管人员解决网络故障的一种常用方法。本文介绍应用层HTTP数据包的截获与还原技术的实现,并简要介绍其中所涉及的数据包截获、数据包分析、应用数据重组以及数据包解码等关键技术。该系统可

摘要：在因特网日益发展壮大的今天，万维网在其上的通信量已经超过90%，万维网信息的安全问题已经越来越被人们所重视，而作为万维网应用层核心协议的http协议是基础。当网络发生异常时，对网络上传输的数据进行监视和分析，是网管人员解决网络故障的一种常用方法。本文介绍应用层HTTP数据包的截获与还原技术的实现,并简要介绍其中所涉及的数据包截获、数据包分析、应用数据重组以及数据包解码等关键技术。该系统可以监

采集新闻数据的10个经典方法新闻数据采集全网抓取网页数据、新闻搜索全网搜索、网页爬虫、采集网站数据、网页数据采集软件、python爬虫、HTM网页提取、APP数据抓包、APP数据采集、一站式网站采集技术、BI数据的数据分析、数据标注等成为大数据发展中的热门技术关键词。那么采集新闻数据的方法有哪些呢？我给大家分享一下，我爬虫的个人经验，我们在采集类似新闻网站数据的时候会遇到什么技术问题，然后再根据这些问题给大家分享采集方案. 一、写爬虫采集网站之前：为什么经常听到有些网站的域名被劫持、服务器被heike

1、 AJAX主要应用到的是局部刷新。也就是当页面上的摸一个标签内容需要刷新，为了不引起整个页面的回发，通常利用AJAX来解决。 2、获取其他网页的内容。当本页内容基于其他网站时（例如天气预报），通常也使用AJAX+正则表达式的方法，从外网截获自己需要的内容。 3、需要异步读取的地方。这个最明显的例子，非Google map莫属了，因为地图占据的数据资源太大，当用户移动的时候，使用异步读取方

87,916

社区成员

224,617

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章