storm 用于接收大量实时的车载GPS数据。 求教接收方案???

Roger_dai 2013-05-12 11:14:31
最近在学习storm,需求是实时接收5万辆车子上的GPS数据,原来的想法是:服务器开启一个socket监听,GPS设备通过TCP协议把数据发送到服务器的socket上,在服务器上监听接收数据就行了。我想问能否在storm集群中实现接收存储,是否可以在各个节点中spout中开启socket监听,不断接收数据,作为数据来源,然后发射到相应bolt进行解析存储,数据则存储在集群的各个节点上。

我的疑问是,如果运行在一个storm集群上的吧,GPS设备上传数据的时候应该是发送到指定的服务器,而不是直接发送到工作节点的电脑上的,那么storm集群上的各个节点怎么如何能接收到数据呢??难道集群工作时对外界是透明的,在各个节点上开启socket监听都能接收GPS设备的数据??

对集群的概念也不太清楚,希望大家帮我解答一下,给点思路也好。
...全文
202 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
撸大湿 2013-05-12
  • 打赏
  • 举报
回复
我对storm只有一点皮毛的研究,说错了请拍砖 数据传输针对集群,CLIENT并不会直接控制节点机,所有的任务都有nimbus负责,CLIENT不会直接访问Supervisor,他们之间是由Zookeeper调度控制的,这点和HBASE很像~ 就像LZ说的集群工作时对外界是透明的!!!! storm的任务调度和Hadoop的MapReduce很像,只是很像~~~,他们有很大的区别 MapReduce的任务生命周期是由一个一个JOB形成的,当JOB结束时,任务也就结束了 storm则不同,它的管道是对所有任务开放的,所以不会有关闭的概念,除非你KILL守护进程 建议LZ线去了解一下storm的特性和集群架构,最好自己动手配一个。实践是最好的学习方法

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧