数据采集卡采集到的数据如何写入hadoop?

[mzw_0359]

老板让我建个数据库，做故障诊断用，数据采集卡的数据应该如何写入hadoop？或者能给我这个小白推荐点这方面的资料．还有，有人说hadoop在高频的写入时性能不太好，做故障诊断时一个传感器的采样频率就几千上万，高频的有几十万，这不是高频的写入吗？为什么我看论文里好多人还是用hadoop做故障诊断的数据库？

[tianfang]

你的数据是什么数量级？几十万真不是很大 多少传感器？采集速度多少？数据总量和数据速率最大是多少 后期要做实时分析还是历史数据分析？ 这些都是需求，先了解清楚。再用现在采集卡的数据怎么获得和存储的？有什么语言的开发包？

• 打赏
• 举报

回复 赞

[frankzx]

先将数据扔进kafka 再通过flume沉淀到hdfs

• 打赏
• 举报

回复 赞

[spdata]

时序数据可以用tsdb存储，单机每秒钟十万采样数据应该能存的下

• 打赏
• 举报

回复 赞

[五哥]

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

• 打赏
• 举报

回复 赞

[weitao1010]

数据先到kafka->可以在storm做实时处理，比如你实时的看到当前的日志信息。也可以先到kafka，然后落地到本地磁盘，然后在向hdfs写入即可。

• 打赏
• 举报

回复 赞

[pucheung]

高频写入不适合hdfs , hdfs 的优势在于吞吐量， 但是延迟较高， 对于这个实时数据的写入，可借助于hbase ，然后使用hbase-> hive 做离线数据分析，或者使用flume 日志采集方式落入hdfs->hive, 或者kafka 到 flume再到hdfs->hive , 如果是实时分析可借助于kafka , 离线分析，二者均可采取，但也需关心公司对平台支持

• 打赏
• 举报

回复 赞