问题征解,高分相送,如果该方案被采用,有实际回报

[johnma]

问题征解,高分相送,如果该方案被采用,有实际回报(可以面谈),决不食言
问题是这样的,假设有30多个交易所:深交,上交,纽交,伦交等
同一个股票在每个交易所都有上市，每个交易所都有自己的网站页面提供数据给用户看
价格如下，价格每秒都在变化
www.深交.com
深交
IBM 2.8
MS 3.1

www.上交.com
上交
IBM 2.9
MS 3.2

www.纽交.com
纽交
IBM 2.85
MS 3.0

www.伦交.com
伦交
IBM 2.88
MS 3.3

现在客户要求由我们的服务器自动每秒去获取各网站的数据，客户登陆我们的服务器后，提供下面这个界面给客户

看
深交 上交 纽交 伦交
IBM 2.8 2.9 2.85 2.88
MS 3.1 3.2 3.0 3.3

原来我的做法是每次获得每个交易所所有股票信息，然后打个包提供给客户，由客户端对每个信息比较然后更新
但由于现在股票越来越多，有500多个，导致宽带占用超大，所以最近想改用只传改变了的数据，达到减小宽带占

用的目的，请各位大虾不吝赐教。如果有问题可以回帖提问，或则email到[e-mail]

[jihanzhong]

由线程池激活

[yeshucheng]

学习

[wmzsl]

顶！

[treeroot]

怎么可能只获得改变的数据？？
获得之前你不知道是否改变，获得之后已经占用了带宽了。

如果需要获得每秒的数据，只好使用多线程来获得较好的并发性了

[strutsdbk]

就说给多钱呢？？

问题的关键，从各个地方是否同一秒都会取回数据！！
数据延迟是否一置？

[johnma]

说明一下
1 从交易所网站拿数据肯定是要全部拿过来，我想解决的是只发送改变了的数据给客户
2 这个系统除了客户表外应该不需要用数据库，获取的数据就在内存中处理就可以了，不需要写到数据库，因为读写都要时间会影响性能
3 strutsdbk(你幸福我快乐) 自己报，只要不太离谱，我想是出的起的，

[johnma]

我现在的方案是这样的，希望大家指点
1 多个交易所class,比如说深圳交易所叫szclass
每个class包含一个快照（快照就是上次取得的数据）
当每次取回数据后和快照比较，然后发出update,add,delete等命令压入系统的命令队列
2 有一个系统级的listener监听所有class的命令任何一个class命令队都被压入自己的命令队列，并维护系统快照（这时系统快照包含所有交易所的数据了）
3 每个登陆客户都在系统的listener里面注册，当系统命令队列有命令时，压给所有客户，当这个客户第一次登陆时，直接获得系统快照

请大家看看这个方案怎么样，多谢了

[johnma]

或者也可以把系统快照变为一个系统默认客户，把它和普通客户同样看待可能更好

[jihanzhong]

3 关于线程池，我以前没有采用。大约30个交易所，就30个线程，每个线程循环的到交易所去取得数据。可能是我理解上的问题，我没看出线程池太大的作用
-------------------------------------------------------------

那是你的目标url已经固定下来了，不用线程池也没什么关系，但是可扩展性能不好。用线程池则可以方便的扩展，随时可以增加或着减少目标url队列，也可以调整轮巡时间。

而且固定线程的话，万一线程出问题不好控制。用线程池的话，线程池会自动管理线程，一两个线程出异常根本就毫无关系。

[laoxing521]

我的理解：

说白了，就是一个实时系统
数据源是分布式的

我的方案是：

A，建立采集系统，作用就是实时地把各个交易所的行情读入到贵网站的数据库中，也就是起到一个集中器作用
B，就是客户在贵网站上的查询系统，客户端查询是时，就从自己的数据库中读取，而再不用到每个交易所中去读（采集系统己经做好了此项工作）

最关键的就是采集系统，我觉得不一定要用在appserver上跑，放在网站服务器上跑，更影响性性，应该把它独立出来。 也不一定要用java, 可以用其它技术，比如DCOM

如果有条件，可以与各个交易所开条专线

[johnma]

不过系统命令队列有可能成为系统瓶颈，30多个线程写入，n个客户读走（读后要删除）
同步是个问题，而且担心会影响性能。看大家有没有什么建议？

另大家和可能我一样，从做程序开始就是使用数据库。不过这个系统应该用不上数据库

[johnma]

谢谢jihanzhong(逍遥) 你说的很在理，我会参考你的意见

laoxing521(想做程序员的农民) 采集服务器是单独一台，有时候是几台，每台各承担几个交易所的数据。

[strutsdbk]

就这么一个简单问题！！！
难道还有情报机构查看分布在世界各地的卫星采集的数据难吗？？？

只要你出钱，什么都好办！！！
舍不得钱就慢慢在此讨论！！

[hongke1490]

我想解决的是只发送改变了的数据给客户
->这样的话，应该就比较简单了。
获取数据前，把上一秒的数据保存到一个变量中
获取数据后，把获取到的数据和上一秒的数据进行比较，不同的数据就发送给客户端。
不知道你的客户端是什么？
如果客户端是GUI界面的话，可以考虑用socket传送数据。
如果客户端是IE的话，用缓存或cookie不知道可不可以。
以上观点不知是否正确，仅供参考。

[jihanzhong]

不管是ie 还是GUI界面，进行用户登记和用户缓存更新索引都是好方法，这个是由客户端发起更新请求，服务器被动响应。

还有一种是上面几位说的服务器主动往客户端塞数据，这样的话，也需要进行客户登记，但是没有更新缓存，而且需要注册每个客户的通讯通道，还有万一发生丢包将不可逆。

个人感觉服务器被动响应性能更优更稳定，但是实时性能梢差

[zclgod]

越来越有意思了

[johnma]

strutsdbk(你幸福我快乐) 钱不是问题,问题是我们在拿到钱之前要做点什么

[johnma]

1 关于客户端的问题：在上一个版本中我使用ie+applet来解决的，新版本中我决定用gui来解决因为这个系统对时间很敏感，从交易所开始取数--〉处理--〉传递给客户最好在1秒左右。
2 jihanzhong(逍遥) 说的很正确，互联网上维持一个持续的连接成本很高，所以我还是采取被动相应的方式由客户段每秒到服务器取一次数据
3 关于线程池，我以前没有采用。大约30个交易所，就30个线程，每个线程循环的到交易所去取得数据。可能是我理解上的问题，我没看出线程池太大的作用

[strutsdbk]

我手上接的活很多！！都是先付钱后办事！！！
事办的怎么样跟你主动掏出的钱成正比！！

[johnma]

谢谢逍遥先生和大家的参与