社区
C#
帖子详情
用C#做了一个网页信息采集器,想实现实时同步更新,怎么弄?大家来顶!
刘津宇教编程
企业官方账号
2010-11-20 05:38:04
如题
...全文
1351
74
打赏
收藏
用C#做了一个网页信息采集器,想实现实时同步更新,怎么弄?大家来顶!
如题
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
74 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Ryusuke
2013-08-11
打赏
举报
回复
引用 67 楼 gzw13999 的回复:
定时采集。。。。
同意...
youkuwanhuo
2011-04-14
打赏
举报
回复
我想要做到及时更新难道是很大的,现在估计百度都没有做到,除非你一直到别人的网站上面爬
刘津宇教编程
2010-12-16
打赏
举报
回复
?快来聊聊
bios8086
2010-12-14
打赏
举报
回复
[Quote=引用 12 楼 jiao3630 的回复:]
我也在做这个 我是隔段时间 自己运行程序的
想问下 你采内容的时候 是通过什么方式采的 我是获取页面源代码 截取字符串
不过很卡 会直接吧UI卡死
兄弟有什么好办法指导下
[/Quote]
----------------------------------
多线程,或者异步委托
刘津宇教编程
2010-12-14
打赏
举报
回复
RSS不是推送过来的吗?
bourbon1795
2010-12-12
打赏
举报
回复
网站推送是难点
awunuaa
2010-12-12
打赏
举报
回复
定时采集, 否则无解.你可以象上面提到的那样提高采集的效率.
除非有协议,否则第三方网站不可能推送数据给你
你的出发点是好的, 但是思路是错的, 别在上面浪费时间了
gzw13999
2010-12-12
打赏
举报
回复
定时采集。。。。
blueinbest
2010-12-12
打赏
举报
回复
如果有不用主动去请求,就有返回的,请给个例子
blueinbest
2010-12-12
打赏
举报
回复
我晕,这有什么好讨论的,想知道那个软件是怎么实现实时更新的,用抓包软件抓一下包不就知道了
实时更新肯定是不断抓取啦,这还用问...
网站的数据都是被动的给你的,只有你去请求了,才有返回...
bios8086
2010-12-11
打赏
举报
回复
云计算
刘津宇教编程
2010-12-11
打赏
举报
回复
顶 快来顶 这个问题到底能不能解决 还是一个不可能完成的任务?大家快点各抒己见啊!
刘津宇教编程
2010-12-11
打赏
举报
回复
[Quote=引用 61 楼 ecwy 的回复:]
动网rss似乎有这个功能。
[/Quote]
是开源的吗?能讲讲原理吗?
ecwy
2010-12-09
打赏
举报
回复
动网rss似乎有这个功能。
刘津宇教编程
2010-12-09
打赏
举报
回复
[Quote=引用 59 楼 zylbmm 的回复:]
定时去抓取对方数据呀,这样就可以实时更新了
[/Quote]
汗 都说不想定时抓了
zylbmm
2010-12-08
打赏
举报
回复
定时去抓取对方数据呀,这样就可以实时更新了
刘津宇教编程
2010-12-08
打赏
举报
回复
[Quote=引用 56 楼 whrspsoft3723 的回复:]
建议考虑下网页缓存,火车头也没有你说的这种机制,网站不会直接推数据给你。
[/Quote]
网页缓存怎么解决问题?
昵称就这么定了
2010-12-05
打赏
举报
回复
估计火车采集器也是定时去检测有没有新的网页URL
勿勿
2010-12-05
打赏
举报
回复
只有一总可能就是网站的人跟你有关系。不然你永远只是个大概。
winner2050
2010-12-05
打赏
举报
回复
贿赂人家的管理员叫他安装个软件,你开个接口给人家的网站,这样就可以实时更新了。
加载更多回复(48)
C#
信息
采集工具
实现
简单
C#
信息
采集工具
实现
http://blog.csdn.net/xiaoxiao108/archive/2011/06/01/6458367.aspx 最近
想
整只爬虫玩玩,顺便熟悉下正则表达式。 开发环境 vs2008 sql2000
实现
方法如下 1.先抓取
网页
代码 2.通过正则...
LCR仪器的串口数据采集程序
C#
源码
【程序老媛出品,必属精品,亲测校正,质量保证】 资源名:LCR仪器的数据采集
C#
程序源码 ...源码说明:使用串口、正则表达式和数据IO卡与PLC
同步
采集LCR测试仪的测试数据 适合人群:新手及有一定经验的开发人员
labview多通道多任务
同步
本资源是基于labview的多路电机控制,并同时进行AD采集,
实现
labview多任务多通道的
同步
,并利用波形图表进行展示(包含改变波形图的缩放因子
实现
改变波形图横坐标步长)
C#
开发经验技巧宝典
1030 如何开始
一个
线程 606 1031 如何结束
一个
线程 606 1032 如何使线程休眠 606 1033 如何挂起
一个
线程 606 1034 如何判断线程的状态 606 1035 如何
实现
线程的
同步
607 1036 如何避免死锁 607 22.2 ...
apace
实时
数据库介绍
在
实时
数据采集方面,Apace可以在一台普通PC上稳定的承载30万点
同步
更新
数据;在历史数据处理方面,我们在对多种压缩算法进行研究改进后,创造了Apace独有的压缩算法,对历史数据的压缩可达到平均35:1的高压缩比。...
C#
110,536
社区成员
642,578
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章