hadoop做文件存储

fufengrui 2012-11-02 10:31:44

请教大牛们，知道hadoop主要用来做数据分析的，但是问问hadoop能做图片或者视频的文件分布式存储系统不？效率怎么样？有使用这方面的经验没？
欢迎交流和指导

...全文

1177 21 打赏收藏转发到动态举报

写回复

用AI写文章

21 条回复

切换为时间正序

请发表友善的回复…

发表回复

muxufeimuxu 2014-03-26

打赏
举报

学习学习。。。。

fufengrui 2012-12-10

打赏
举报

引用 16 楼 liuxingjiaofu 的回复:

hdfs可以用来存储图片和视频，我们用过不过，hdfs一般适合存储大文件，为什么呢？因为 1.以块来实际存储文件，一般一个块64M，如果一个图片才10M以下，极度浪费空间 2.hdfs的每个块block在namenode的namespace里有一条记录，如果小文件太多，名称空间里的记录条数太多，而namespace是在namenode的缓存中的，太多导致缓存不足，……

说的很详细

fufengrui 2012-12-10

打赏
举报

引用 15 楼 xiaoyao3857 的回复:

我觉得倒挺适合做视频图像存储的，因为这类存储的视频一般不会是更改，很符合HDFS的追加写啊

图片一般比较小，不到1M，所以还是不适合的

fufengrui 2012-12-10

打赏
举报

引用 14 楼 maxim_sin 的回复:

小文件太多会玩死namenode hadoop适合存储单个文件超大的数据存图片什么的去用对象存储请给分

赞成，看到最佳答案后散分

一无所有自知之明 2012-12-07

打赏
举报

hdfs可以用来存储图片和视频，我们用过不过，hdfs一般适合存储大文件，为什么呢？因为 1.以块来实际存储文件，一般一个块64M，如果一个图片才10M以下，极度浪费空间 2.hdfs的每个块block在namenode的namespace里有一条记录，如果小文件太多，名称空间里的记录条数太多，而namespace是在namenode的缓存中的，太多导致缓存不足，影响读写效率所以存储大文件的视频（60M以上）是适合的不过存储图片需要做一些设计：（1）每个图片存成一个文件，有上面说的弊端（2）很多个图片写在同一个文件中（以天为单位，或其他的来分组，推荐一个文件大小在1G－4G。），然后把图片和文件路经及图片大小和在文件中的start位置存储在其他的数据库中（hbase或诸如MYSQL等rdbms），不过要在读写图片的操作上封装一下：写文件后写数据库，读数据库后读文件。

xiaoyao3857 2012-11-27

打赏
举报

我觉得倒挺适合做视频图像存储的，因为这类存储的视频一般不会是更改，很符合HDFS的追加写啊

Michael_Xin_CV 2012-11-21

打赏
举报

小文件太多会玩死namenode hadoop适合存储单个文件超大的数据存图片什么的去用对象存储请给分

HuiXiaoPi 2012-11-12

打赏
举报

hadoop不只是用来做数据分析的，hadoop是包括hdfs和mapreduce等，数据分析只是一小部分而已... 很多云盘都是基于hadoop做的，

fufengrui 2012-11-12

打赏
举报

引用 12 楼 HuiXiaoPi 的回复:

这个倒没有！主要是大数据网盘可以google ... 引用 11 楼 fufengrui 的回复:引用 9 楼 HuiXiaoPi 的回复:hadoop不只是用来做数据分析的，hadoop是包括hdfs和mapreduce等，数据分析只是一小部分而已... 很多云盘都是基于hadoop做的，有这方面的具体实例没有，哪个网盘用hadoop实现的啊? ……

同样感谢

HuiXiaoPi 2012-11-12