请问一下，每秒可以接受10万个简单的检测信号数据的架构该如何设计

[李来啦]

每秒10万个测点刷新，要求使用java开发管理平台，要保证测数据实时查询的快，准

[李来啦]

一个监测信号大小有多大

[tianfang]

大致分为接收 一级/二级存储 查询 接收，要看客户端是什么样的设备，支持什么网络协议。10w级别的并发如果是TCP专用协议，单台服务器就可以达到。通讯开销越低越好。 一级存储基本就是内存存储，如内存数据库，分布式就使用spark。存储前是否需要简单处理，如阈值超限警告 二级存储是持久化存储，存储的需求是什么？ 查询的需求有哪些？

[李来啦]

引用 4 楼 tianfang 的回复:

负载均衡不要初期就设计，后期很容易扩展 内存数据库选择看你的查询需求，是否有结构化查询的需求，可以kv存储和MySQL内存数据库都试试 一台服务器执行全部工作？压力有些大。要看数据存储要求，1s50M数据？100s就5G了，1小时是180G，数据规模是关键数据

数据量是很大...后期查询历史记录(1年内)的话,估计会很慢,数据库还得有个方案...

[李来啦]

引用 2 楼 tianfang 的回复:

大致分为接收 一级/二级存储 查询 接收，要看客户端是什么样的设备，支持什么网络协议。10w级别的并发如果是TCP专用协议，单台服务器就可以达到。通讯开销越低越好。 一级存储基本就是内存存储，如内存数据库，分布式就使用spark。存储前是否需要简单处理，如阈值超限警告 二级存储是持久化存储，存储的需求是什么？ 查询的需求有哪些？

如果是要求一台服务器,但是要考虑到后期扩展,用不用在一台服务器时就添加一个负载均衡来方便之后的扩展呢? 内存数据库单个redis可以么,10W并发数据量不到50M 我的预想是:因为数据量不是很大,可以在redis中存储一段时间内发来数据(设定阈值,超过则删除老数据),为了保证数据完整性,再将数据接收的时候同时同步到mysql(可以使用消息队列么?),这样保证了数据查询的速度和查询数据的完整性

[tianfang]

先算数据的数量级 选型很关键的数据基础

[李来啦]

引用 6 楼 tianfang 的回复:

先算数据的数量级 选型很关键的数据基础

kafka+sparkStream可以实时处理大量数据么,我要不要学一下

[tianfang]

负载均衡不要初期就设计，后期很容易扩展 内存数据库选择看你的查询需求，是否有结构化查询的需求，可以kv存储和MySQL内存数据库都试试 一台服务器执行全部工作？压力有些大。要看数据存储要求，1s50M数据？100s就5G了，1小时是180G，数据规模是关键数据