这样的业务需要应用hadoop吗?
ruijc 2013-08-25 12:31:57 业务场景:
生产行业的数据采集项目,采集硬件和上位机程序已经完成,每个采集卡对应一个设备,每间隔5分钟采集一次(每次产生两条记录(采集返回数据、应答数据)),一个车间大概有200多个设备,我按200个设备来计算的话:
1小时=(60/5)*2
12小时=(60/5)*2*12
200台=(60/5)*2*12*200=67200条数据
全国按目前70个车间来算的话:
一天就会产生67200*70=4704000
一个月:30*4704000=141120000
一年:30*4704000*365=51508800000
一个月全国就产生了1亿4千多万的数据,全年就500亿的数据,后期的需求:
1、根据采集的数据统计每月、每天、全年所有设备的生产效率及设备实时运行的参数(温度、湿度、产出值)。
2、相临年度的设备数据比较分析图。
现在项目只采集部分已经做得差不多了,但让我头痛的是如此大的数据存储在oracle中在进行数据统计时会比较麻烦,我想把数据存储这块转换为hadoop,但又担心项目周期延长了,不好交差啊,如果不换hadoop而继续用oracle的话,万一上线一段时间后才发现问题且来重构的话又是个大麻烦。请大家帮我分析一下,最好能提点意见,先谢谢!!