社区
Hadoop生态社区
帖子详情
物联网传感器设备采集到的数据进行大数据处理的相关咨询
qzp1994
2018-01-09 10:06:54
最近在想学习物联网大数据处理的相关知识,希望有经验的前辈可以指导一二:
1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理?
2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现?
3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理?
物联网还大数据领域的新手,希望大家可以给我一些建议和帮助,谢谢!
...全文
1024
2
打赏
收藏
物联网传感器设备采集到的数据进行大数据处理的相关咨询
最近在想学习物联网大数据处理的相关知识,希望有经验的前辈可以指导一二: 1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理? 2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现? 3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理? 物联网还大数据领域的新手,希望大家可以给我一些建议和帮助,谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
shiter
2018-01-10
打赏
举报
回复
可以cdh搭建一个平台,做个私有云?
天空win
2018-01-09
打赏
举报
回复
1
1.如果有几百台传感器设备,每台设备隔5分钟上报一次数据的话,云服务器应该怎么接受数据并做处理?
不知道是通过什么方式上报数据的,你现在是怎么存储的,一般用flume/logstash/filebeat(采集) -> kafka(分布式队列缓存) -> storm/spark streaming(实时处理)
2.我是想的接受到了数据先对数据进行处理以后进行实时数据的分析,分析之后进行存储。请问实时处理要怎么实现,存储的话又要怎么实现?
实时处理用storm/spark streaming ,存储的话就存到hdfs。
3.数据存储之后想做历史数据的离线分析,请问这个又怎么处理?
用hive做离线加工分析
star-edge-cloud是一个经过边缘端
数据
采集
分析后汇总到云端
进行
大
数据
处理
的
物联网
边缘计算-云计算平台
star-edge-cloud是一个经过边缘端
数据
采集
分析后汇总到云端
进行
大
数据
处理
的
物联网
边缘计算-云计算平台。目标是帮助一些监控类项目提供一个可靠的、安全的,简单易用解决方案。软件架构包括边缘端和云端两个部分,边缘端负责接入
采集
卡、智能
设备
和各类
传感器
,可以
进行
数据
的压缩、过滤和缓存,集成算法和业务处理,将
数据
传到云端。云端负责
数据
收集整理,并将
数据
存储,弹性扩展业务功能
nodejs-publish-iot-sensor:nodejs
物联网
传感器
应用项目
nodejs-发布-
物联网
传感器
nodejs
物联网
传感器
应用项目 基础
物联网
传感器
应用 这个应用程序来源于书上的
物联网
项目。 最初的项目有多个场景,所以我认为根据场景分类为部分项目似乎是个好主意。 自述文件版本 0.1.0 基本 IoT(
物联网
)应用程序,用于指定和收集
设备
周围的
传感器
数据
。
设备
变化可以由开发者或用户改变和切换。 默认情况下,Beaglebone black 用于执行收集
传感器
数据
。 该存储库仅处理
传感器
应用程序,但该应用程序可以扩展并与作者的其他 IoT 应用程序合并,例如 IoT Streamer 应用程序、IoT Configuration 应用程序等。
物联网
传感器
应用程序分为以下几个功能:
传感器
数据
采集
:最基本的功能,就是获取
传感器
数据
。
传感器
属性可能因
设备
的
传感器
而异。
传感器
应该可以从低级 linux 检测到。 后来,最近连接的
传感器
可以自动检
java
物联网
平台源码
物联网
平台基于Java8、Spring Boot 2.x、WebFlux、Netty、Vert.x、Reactor等开发,是一个开箱即用,可二次开发的企业级
物联网
基础平台。平台实现了
物联网
相关
的众多基础功能,能帮助你快速建立
物联网
相关
业务系统。 支持统一物模型管理,多种
设备
,多种厂家,统一管理。 统一
设备
连接管理,多协议适配(TCP、MQTT、UDP、CoAP、HTTP等),屏蔽网络编程复杂性,灵活接入不同厂家不同协议的
设备
。 灵活的规则引擎,
设备
告警,消息通知,
数据
转发。可基于SQL
进行
复杂的
数据
处理
逻辑。 地理位置:统一管理地理位置信息,支持区域搜索。
数据
可视化:实现拖拽配置
数据
图表,
设备
组态等。
物联网
平台技术栈: Spring Boot 2.2.x Spring WebFlux 响应式Web支持 R2DBC 响应式关系型
数据
库驱动 Project Reactor 响应式编程框架 Netty、Vert.x 高性能网络编程框架 ElasticSearch 全文检索,日志,时序
数据
存储 PostgreSQL 业务功能
数据
管理 hsweb framework 4
基于
物联网
的矿用粉尘智能
传感器
研究
基于
物联网
的矿用粉尘智能
传感器
,是一种将粉尘
传感器
、温湿度
传感器
与ARM9处理器相结合的智能
传感器
,在煤矿中对粉尘和温湿度
进行
多点
采集
,把
采集
到的
数据
通过
物联网
进行
无线传输,并且能够实现对
采集
到的
数据
进行
查看、显示和存储。系统的总框架采用模块化设计,主要对
数据
采集
模块、
数据
传输模块和
数据
处理
模块
进行
硬件和软件的设计,实现了对煤矿环境中粉尘和温湿度的准确、实时、无线监测,解决了煤矿井下监测技术相对滞后、监测范围小、检测方法单一等问题,保证了煤矿工人的生命安全。
物联网
智慧楼宇
数据
采集
移动互联
数据
交换建筑
物联网
平台.pptx
物联网
的最大瓶颈既不是IP地址不够问题,也不是一定要攻克下什么关键技术才能发展。三网合一,IPv6固然重要,但
物联网
的很多底层通讯介质根本不能运行IP Stack。一些
传感器
和
传感器
网络关键技术的攻关也很重要,但那是“点”的问题,不是“面”的问题, 大面的问题: 不同传统工业控制总线的互联互通,
数据
表达、交换,与处理的标准 应用支撑的中间件架构问题 我们建设
物联网
不可以对过去的建设成就推倒重来,
物联网
产业发展的关键在于把新建的和已有的智能物件和子系统链接起来,实现应用的大集成(Grand Integration)和“管控营一体化”,为实现“高效、节能、安全、环保”的和谐社会服务。 要做到这一点,
物联网
网关、路由器和平台软件及中间件软件将作为核心和灵魂起至关重要的作用。
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章