这样的业务需要应用hadoop吗?

ruijc 2013-08-25 12:31:57
业务场景:
生产行业的数据采集项目,采集硬件和上位机程序已经完成,每个采集卡对应一个设备,每间隔5分钟采集一次(每次产生两条记录(采集返回数据、应答数据)),一个车间大概有200多个设备,我按200个设备来计算的话:

1小时=(60/5)*2
12小时=(60/5)*2*12
200台=(60/5)*2*12*200=67200条数据

全国按目前70个车间来算的话:
一天就会产生67200*70=4704000

一个月:30*4704000=141120000

一年:30*4704000*365=51508800000

一个月全国就产生了1亿4千多万的数据,全年就500亿的数据,后期的需求:
1、根据采集的数据统计每月、每天、全年所有设备的生产效率及设备实时运行的参数(温度、湿度、产出值)。
2、相临年度的设备数据比较分析图。

现在项目只采集部分已经做得差不多了,但让我头痛的是如此大的数据存储在oracle中在进行数据统计时会比较麻烦,我想把数据存储这块转换为hadoop,但又担心项目周期延长了,不好交差啊,如果不换hadoop而继续用oracle的话,万一上线一段时间后才发现问题且来重构的话又是个大麻烦。请大家帮我分析一下,最好能提点意见,先谢谢!!

...全文
289 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
职业驱魔师 2014-05-09
  • 打赏
  • 举报
回复
呵呵,一年了都没有人回复

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧