17,140
社区成员




hadoop 应该还是可以用的,只不过不是直接用hadoop的 HDFS存储,用Hbase存储的吧 。
。
[quote=引用 36 楼 大脸猫o 的回复:]
[quote=引用 楼主 bandaoyu 的回复:]
[quote=引用 楼主 bandaoyu 的回复:]
数据源:
我们系统监控的终端设备
——————————————————
每10秒产生一条记录
每年:24*60*60*365/10 = 3153600 约315万
—————————————————
每个场站100台,每年
100*315 = 3亿
_______________
500个场站,那么就是3000亿记录,每1000条记录的大小约0.25353M,3000亿既:约36.25T
—————————————————
存储最近2年的数据
2*36.25 = 72.5 T
——————————————————
服务器端:
数据库构架?
问:1、我们应该用什么数据库存储,用什么方案/框架?
2、Hadoop说的大数据是指处理的数据量大还是存储的数据量大?适合这里吗
hadoop吗? 如果都是文件,建议上对象存储。同时搭配小文件打包等功能,能够实现很好的存储。
数据源:
我们系统监控的终端设备
——————————————————
每10秒产生一条记录
每年:24*60*60*365/10 = 3153600 约315万
—————————————————
每个场站100台,每年
100*315 = 3亿
_______________
500个场站,那么就是3000亿记录,每1000条记录的大小约0.25353M,3000亿既:约36.25T
—————————————————
存储最近2年的数据
2*36.25 = 72.5 T
——————————————————
服务器端:
数据库构架?
问:1、我们应该用什么数据库存储,用什么方案/框架?
2、Hadoop说的大数据是指处理的数据量大还是存储的数据量大?适合这里吗
如果都是文件,建议上对象存储。同时搭配小文件打包等功能,能够实现很好的存储。
对查询 实时 要求,很高的话 上hbase 不是特高 可以hive。 放Oracle 上,感觉没必要
什么数据库能存得下千亿级别的数据?恐怕是需要分布式数据库或者数据库集群的吧 ,那就需要一个方案呀,单个数据库(单机)估计不行 [quote=引用 19 楼 qq_41315735 的回复:]
选择合适数据库就可以了