社区
Hadoop生态社区
帖子详情
物联网传感器设备采集到的数据进行大数据处理的相关咨询
qzp1994
2018-01-09 10:06:54
最近在想学习物联网大数据处理的相关知识,希望有经验的前辈可以指导一二:
1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理?
2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现?
3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理?
物联网还大数据领域的新手,希望大家可以给我一些建议和帮助,谢谢!
...全文
1031
2
打赏
收藏
物联网传感器设备采集到的数据进行大数据处理的相关咨询
最近在想学习物联网大数据处理的相关知识,希望有经验的前辈可以指导一二: 1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理? 2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现? 3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理? 物联网还大数据领域的新手,希望大家可以给我一些建议和帮助,谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
shiter
2018-01-10
打赏
举报
回复
可以cdh搭建一个平台,做个私有云?
天空win
2018-01-09
打赏
举报
回复
1
1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理?
不知道是通过什么方式上报数据的,你现在是怎么存储的,一般用flume/logstash/filebeat(采集) -> kafka(分布式队列缓存) -> storm/spark streaming(实时处理)
2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现?
实时处理用storm/spark streaming ,存储的话就存到hdfs。
3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理?
用hive做离线加工分析
star-edge-cloud是一个经过边缘端
数据
采集
分析后汇总到云端
进行
大
数据
处理
的
物联网
边缘计算-云计算平台
star-edge-cloud是一个经过边缘端
数据
采集
分析后汇总到云端
进行
大
数据
处理
的
物联网
边缘计算-云计算平台。目标是帮助一些监控类项目提供一个可靠的、安全的,简单易用解决方案。软件架构包括边缘端和云端两个部分,边缘端负责接入
采集
卡、智能
设备
和各类
传感器
,可以
进行
数据
的压缩、过滤和缓存,集成算法和业务处理,将
数据
传到云端。云端负责
数据
收集整理,并将
数据
存储,弹性扩展业务功能
物联网
设备
编程与实施
本课程通过基于WSN的环境监控系统、基于RFID的智能消费系统、基于IPCamera的视频监控系统、基于GPRS DTU的远程监控系统、智能家居综合应用系统等5个典型的
物联网
子系统,能够将
物联网
设备
的基本原理与日常生产生活中...
nodejs-publish-iot-sensor:nodejs
物联网
传感器
应用项目
nodejs-发布-
物联网
传感器
nodejs
物联网
传感器
应用项目 基础
物联网
传感器
应用 这个应用程序来源于书上的
物联网
项目。 最初的项目有多个场景,所以我认为根据场景分类为部分项目似乎是个好主意。 自述文件版本 0.1.0 基本 IoT(
物联网
)应用程序,用于指定和收集
设备
周围的
传感器
数据
。
设备
变化可以由开发者或用户改变和切换。 默认情况下,Beaglebone black 用于执行收集
传感器
数据
。 该存储库仅处理
传感器
应用程序,但该应用程序可以扩展并与作者的其他 IoT 应用程序合并,例如 IoT Streamer 应用程序、IoT Configuration 应用程序等。
物联网
传感器
应用程序分为以下几个功能:
传感器
数据
采集
:最基本的功能,就是获取
传感器
数据
。
传感器
属性可能因
设备
的
传感器
而异。
传感器
应该可以从低级 linux 检测到。 后来,最近连接的
传感器
可以自动检
java
物联网
平台源码
物联网
平台基于Java8、Spring Boot 2.x、WebFlux、Netty、Vert.x、Reactor等开发,是一个开箱即用,可二次开发的企业级
物联网
基础平台。平台实现了
物联网
相关
的众多基础功能,能帮助你快速建立
物联网
相关
业务系统。 支持统一物模型管理,多种
设备
,多种厂家,统一管理。 统一
设备
连接管理,多协议适配(TCP、MQTT、UDP、CoAP、HTTP等),屏蔽网络编程复杂性,灵活接入不同厂家不同协议的
设备
。 灵活的规则引擎,
设备
告警,消息通知,
数据
转发。可基于SQL
进行
复杂的
数据
处理
逻辑。 地理位置:统一管理地理位置信息,支持区域搜索。
数据
可视化:实现拖拽配置
数据
图表,
设备
组态等。
物联网
平台技术栈: Spring Boot 2.2.x Spring WebFlux 响应式Web支持 R2DBC 响应式关系型
数据
库驱动 Project Reactor 响应式编程框架 Netty、Vert.x 高性能网络编程框架 ElasticSearch 全文检索,日志,时序
数据
存储 PostgreSQL 业务功能
数据
管理 hsweb framework 4
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章