用C#做了一个网页信息采集器,想实现实时同步更新,怎么弄?大家来顶!

刘津宇教编程
企业官方账号
2010-11-20 05:38:04
如题
...全文
1351 74 打赏 收藏 转发到动态 举报
写回复
用AI写文章
74 条回复
切换为时间正序
请发表友善的回复…
发表回复
Ryusuke 2013-08-11
  • 打赏
  • 举报
回复
引用 67 楼 gzw13999 的回复:
定时采集。。。。
同意...
youkuwanhuo 2011-04-14
  • 打赏
  • 举报
回复
我想要做到及时更新难道是很大的,现在估计百度都没有做到,除非你一直到别人的网站上面爬
刘津宇教编程 2010-12-16
  • 打赏
  • 举报
回复
?快来聊聊
bios8086 2010-12-14
  • 打赏
  • 举报
回复
[Quote=引用 12 楼 jiao3630 的回复:]
我也在做这个 我是隔段时间 自己运行程序的
想问下 你采内容的时候 是通过什么方式采的 我是获取页面源代码 截取字符串
不过很卡 会直接吧UI卡死
兄弟有什么好办法指导下
[/Quote]
----------------------------------
多线程,或者异步委托
刘津宇教编程 2010-12-14
  • 打赏
  • 举报
回复
RSS不是推送过来的吗?
bourbon1795 2010-12-12
  • 打赏
  • 举报
回复
网站推送是难点
awunuaa 2010-12-12
  • 打赏
  • 举报
回复
定时采集, 否则无解.你可以象上面提到的那样提高采集的效率.
除非有协议,否则第三方网站不可能推送数据给你
你的出发点是好的, 但是思路是错的, 别在上面浪费时间了
gzw13999 2010-12-12
  • 打赏
  • 举报
回复
定时采集。。。。
blueinbest 2010-12-12
  • 打赏
  • 举报
回复
如果有不用主动去请求,就有返回的,请给个例子
blueinbest 2010-12-12
  • 打赏
  • 举报
回复
我晕,这有什么好讨论的,想知道那个软件是怎么实现实时更新的,用抓包软件抓一下包不就知道了

实时更新肯定是不断抓取啦,这还用问...

网站的数据都是被动的给你的,只有你去请求了,才有返回...
bios8086 2010-12-11
  • 打赏
  • 举报
回复
云计算
刘津宇教编程 2010-12-11
  • 打赏
  • 举报
回复
顶 快来顶 这个问题到底能不能解决 还是一个不可能完成的任务?大家快点各抒己见啊!
刘津宇教编程 2010-12-11
  • 打赏
  • 举报
回复
[Quote=引用 61 楼 ecwy 的回复:]
动网rss似乎有这个功能。
[/Quote]
是开源的吗?能讲讲原理吗?
ecwy 2010-12-09
  • 打赏
  • 举报
回复
动网rss似乎有这个功能。
刘津宇教编程 2010-12-09
  • 打赏
  • 举报
回复
[Quote=引用 59 楼 zylbmm 的回复:]
定时去抓取对方数据呀,这样就可以实时更新了
[/Quote]
汗 都说不想定时抓了
zylbmm 2010-12-08
  • 打赏
  • 举报
回复
定时去抓取对方数据呀,这样就可以实时更新了
刘津宇教编程 2010-12-08
  • 打赏
  • 举报
回复
[Quote=引用 56 楼 whrspsoft3723 的回复:]
建议考虑下网页缓存,火车头也没有你说的这种机制,网站不会直接推数据给你。
[/Quote]
网页缓存怎么解决问题?
  • 打赏
  • 举报
回复
估计火车采集器也是定时去检测有没有新的网页URL
勿勿 2010-12-05
  • 打赏
  • 举报
回复
只有一总可能就是网站的人跟你有关系。不然你永远只是个大概。

winner2050 2010-12-05
  • 打赏
  • 举报
回复
贿赂人家的管理员叫他安装个软件,你开个接口给人家的网站,这样就可以实时更新了。
加载更多回复(48)

110,536

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧