分布式云平台 存储管理 hdfs 一些想法及问题
最近在做关于 分布式云平台视频存储 及管理 这块,自己一个人研究的好纠结,在这里想请教大家一些问题,或者看看我这些想法的可行性,给一些建议。
1、先说一下视频存储这一块:
①、用户上传随意视频,我j2ee实现视频的上传,首先用户把视频上传到web服务器上(作为一个缓冲区),然后使用hdfs的api将web服务器上的视频上传到hdfs。(不知道这样做合不合适,为什么不直接使用hdfs api直接上传到hdfs呢,我试过,直接使用hdfs无法获取本地 视频的路径,从而无法直接上传到hdfs,这个地方您有什么好的建议 希望指出 谢谢!)。
②、用户通过监控摄像头获取视频,获取的视频保存到web服务下,然后在上传到hdfs上。思路跟上面差不多。
2、视频管理 (点播 )
①、视频点播,已经存在的视频,这块我想实现 一边缓冲一边播放,我目前做的是,首先我从hdfs上缓冲视频文件到web服务器上,相当于下载视频文件到web服务器,然后前台我用ckplayer视频插件去播放下载到web服务器上的视频。
②、视频在线直播,获取实时视频,我想搭建red5流媒体服务器来进行实现,这块、。
③、既然说到了red5流媒体服务器,然后我就想,为什么不通过red5服务器去获取hdfs上的视频,然后通过ckpalyer 去调用red5流媒体服务器上视频呢??? 这样做 跟去访问web服务器上视频 有什么区别???目前这块没弄明白,请高人指点!
(在补充一下我的意思,就是通过使用hdfs api把视频下载到red5服务器上,然后用ckplayer 去播放或者使用flex去播放,这块还有一个问题 我本打算 从hdfs返回一个inputstream流 给red5服务器,然后返回到前台,但是返回inpustream流没有实现成功,只好选择本方法 去下载)
目前就这些想法 和问题,希望大家 给写建议 谢谢大家了!
1、先说一下视频存储这一块:
①、用户上传随意视频,我j2ee实现视频的上传,首先用户把视频上传到web服务器上(作为一个缓冲区),然后使用hdfs的api将web服务器上的视频上传到hdfs。(不知道这样做合不合适,为什么不直接使用hdfs api直接上传到hdfs呢,我试过,直接使用hdfs无法获取本地 视频的路径,从而无法直接上传到hdfs,这个地方您有什么好的建议 希望指出 谢谢!)。
②、用户通过监控摄像头获取视频,获取的视频保存到web服务下,然后在上传到hdfs上。思路跟上面差不多。
2、视频管理 (点播 )
①、视频点播,已经存在的视频,这块我想实现 一边缓冲一边播放,我目前做的是,首先我从hdfs上缓冲视频文件到web服务器上,相当于下载视频文件到web服务器,然后前台我用ckplayer视频插件去播放下载到web服务器上的视频。
②、视频在线直播,获取实时视频,我想搭建red5流媒体服务器来进行实现,这块、。
③、既然说到了red5流媒体服务器,然后我就想,为什么不通过red5服务器去获取hdfs上的视频,然后通过ckpalyer 去调用red5流媒体服务器上视频呢??? 这样做 跟去访问web服务器上视频 有什么区别???目前这块没弄明白,请高人指点!
(在补充一下我的意思,就是通过使用hdfs api把视频下载到red5服务器上,然后用ckplayer 去播放或者使用flex去播放,这块还有一个问题 我本打算 从hdfs返回一个inputstream流 给red5服务器,然后返回到前台,但是返回inpustream流没有实现成功,只好选择本方法 去下载)
目前就这些想法 和问题,希望大家 给写建议 谢谢大家了!
...全文
相关推荐
HDFS小文件智能合并与存储优化系统_基于Spark的大数据集群小文件自动检测合并压缩与存储管理工具_解决HDFS因小文件过多导致的集群性能下降和存储空间浪费问题_通过参数化配置实.zip
为了解决HDFS中小文件导致的集群性能下降和存储空间浪费问题,研究人员和工程师开发了一套基于Spark的大数据集群小文件自动检测合并压缩与存储管理工具。
基于云平台的大数据处理流程的关键技术研究.pdf
文章中还可能涉及到在云计算平台之上构建的大数据处理框架,例如Hadoop生态系统中的HDFS、MapReduce等。
云计算及其架构模式
**云数据存储管理技术**:随着数据量的爆发式增长,如何有效地管理和存储海量数据成为了一个亟待解决的问题。
云计算平台上的数据管理技术与应用.pdf
在存储管理上,云平台通常采用列式存储,即将数据表按照列进行划分和存储。这种存储方式能够对数据进行更高效的读取和处理,特别适用于大规模数据集的分析处理。
基于云计算的大数据处理及关键技术 (1).pdf
HDFS是分布式存储的一个实际应用例子,它提供了高容错性的分布式文件存储功能,并具备强大的数据吞吐能力。大数据管理技术包括内容管理和存储管理两部分。


