物联网传感器设备采集到的数据进行大数据处理的相关咨询

qzp1994 2018-01-09 10:06:54
最近在想学习物联网大数据处理的相关知识,希望有经验的前辈可以指导一二:

1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理?
2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现?
3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理?

物联网还大数据领域的新手,希望大家可以给我一些建议和帮助,谢谢!
...全文
1025 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
shiter 2018-01-10
  • 打赏
  • 举报
回复
可以cdh搭建一个平台,做个私有云?
天空win 2018-01-09
  • 打赏
  • 举报
回复 1
1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理? 不知道是通过什么方式上报数据的,你现在是怎么存储的,一般用flume/logstash/filebeat(采集) -> kafka(分布式队列缓存) -> storm/spark streaming(实时处理) 2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现? 实时处理用storm/spark streaming ,存储的话就存到hdfs。 3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理? 用hive做离线加工分析

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧