社区
Hadoop生态社区
帖子详情
物联网传感器设备采集到的数据进行大数据处理的相关咨询
qzp1994
2018-01-09 10:06:54
最近在想学习物联网大数据处理的相关知识,希望有经验的前辈可以指导一二:
1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理?
2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现?
3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理?
物联网还大数据领域的新手,希望大家可以给我一些建议和帮助,谢谢!
...全文
1033
2
打赏
收藏
物联网传感器设备采集到的数据进行大数据处理的相关咨询
最近在想学习物联网大数据处理的相关知识,希望有经验的前辈可以指导一二: 1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理? 2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现? 3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理? 物联网还大数据领域的新手,希望大家可以给我一些建议和帮助,谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
shiter
2018-01-10
打赏
举报
回复
可以cdh搭建一个平台,做个私有云?
天空win
2018-01-09
打赏
举报
回复
1
1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理?
不知道是通过什么方式上报数据的,你现在是怎么存储的,一般用flume/logstash/filebeat(采集) -> kafka(分布式队列缓存) -> storm/spark streaming(实时处理)
2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现?
实时处理用storm/spark streaming ,存储的话就存到hdfs。
3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理?
用hive做离线加工分析
star-edge-cloud是一个经过边缘端
数据
采集
分析后汇总到云端
进行
大
数据
处理
的
物联网
边缘计算-云计算平台
star-edge-cloud是一个经过边缘端
数据
采集
分析后汇总到云端
进行
大
数据
处理
的
物联网
边缘计算-云计算平台。目标是帮助一些监控类项目提供一个可靠的、安全的,简单易用解决方案。软件架构包括边缘端和云端两个部分,...
物联网
设备
编程与实施
本课程通过基于WSN的环境监控系统、基于RFID的智能消费系统、基于IPCamera的视频监控系统、基于GPRS DTU的远程监控系统、智能家居综合应用系统等5个典型的
物联网
子系统,能够将
物联网
设备
的基本原理与日常生产生活中的实际应用相结合,培养学员在
物联网
智能终端
设备
编程与实施方面应具备的多种职业核心能力。
nodejs-publish-iot-sensor:nodejs
物联网
传感器
应用项目
nodejs-发布-
物联网
传感器
nodejs
物联网
传感器
应用项目 基础
物联网
传感器
应用 这个应用程序来源于书上的
物联网
项目。 最初的项目有多个场景,所以我认为根据场景分类为部分项目似乎是个好主意。 自述文件版本 0.1.0...
java
物联网
平台源码
可基于SQL
进行
复杂的
数据
处理
逻辑。 地理位置:统一管理地理位置信息,支持区域搜索。
数据
可视化:实现拖拽配置
数据
图表,
设备
组态等。
物联网
平台技术栈: Spring Boot 2.2.x Spring WebFlux 响应式Web支持 R2DBC ...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章