分布式文件系统选择问题？

sbgphl 2014-10-10 09:18:54

系统预计至少要有1T的小图片不超过300k，还有其他大文件，在选择分布式文件系统

满足以下几个条件

1、无中心的、容易横向扩展的、单点故障不影响系统；
2、60%以小文件为主300k以下的，其他的文件可能是大文件；
3、开源社区活跃遇到问题容易解决，稳定的更新周期；

求推荐。。。。最好有案例。。。谢谢！

...全文

415 7 打赏收藏举报

写回复

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

skgary 2014-10-19

打赏
举报

回复

引用 6 楼 sbgphl 的回复:

一开始还是不考虑分布式文件系统了，还是分散存储吧。。

既然不考虑成本问题，买个net app就结束了。如果你规模不是很大，自己维护远比买商用产品的成本高。

sbgphl 2014-10-17

打赏
举报

回复

一开始还是不考虑分布式文件系统了，还是分散存储吧。。

sbgphl 2014-10-13

打赏
举报

回复

严重缺少案例。。。

skgary 2014-10-10

打赏
举报

回复

问题是有多少钱？如果只是自己用，如果真的要求有那么高，买商用的NAS存贮设备，一般都可以满足。

pricks 2014-10-10

打赏
举报

回复

基于hadoop改吧。不改不行，你的文件太小了 NAS后期扩展很麻烦呀，个人不建议

sbgphl 2014-10-10

打赏
举报

回复

性能上 NAS 对比分布式文件系统差别很大吗？

sbgphl 2014-10-10

打赏
举报

回复

先不考虑成本，公司用搭建系统。目前我认为一次构建系统还是用商用NAS便宜些，毕竟系统增长到何种程度是不确定的。如果采用分布式存储软件，成本在于运维团队。

相关推荐

【课程介绍】

课程目标：让大家熟练掌握SpringBoot如何整合FastDFS文件服务器实现文件的上传
适合人群：必须得有一定的Java基础，会SSM框架的同学

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

通俗来讲：

- 传统文件系统管理的文件就存储在本机。
- 分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理。无论是上传或者访问文件，都需要通过管理中心来访问

## 3.2.什么是FastDFS

FastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。用纯C语言开发，功能丰富：

- 文件存储
- 文件同步
- 文件访问（上传、下载）
- 存取负载均衡
- 在线扩容

适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

###一、概述 分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。并且，分布式文件系统并非只有 HDFS/GFS 这一种形态，在它之外，还有其他形态各异、各有千秋的产品形态，对它们的了解，也对扩展我们的视野有所俾益。本文试图分析和思考，在分布式文件系统领域，我们要解决哪些问题、有些什么样的方案、以及各自的选择依据。二、过去的样子在几十年以前，分布式文件系统就已经出现了，

一、概述 分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是 HDFS/GFS 。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。并且，分布式文件系统并非只有 HDFS/GFS 这一种形态，在它之外，还有其他形态各异、各有千秋的产品形态，对它们的了解，也对扩展我们的视野有所俾益。本文试图分析和思考，在分布式文件系统领域，我们要解决哪些问题、有些什么样的方案、以及各自的选择依据。二、过去的样子在几十年以前，分布式文件系统就已经出现了，以

分布式文件系统之安装分布式文件系统之创建 DFS 命名空间分布式文件系统之配置DFS复制分布式文件系统之在域命名空间中新建文件夹分布式文件系统之管理DFS复制与基于访问的枚举1、打开“ DFS 管理”右击域命名空间，选择“新建文件夹”；2、打开“新建文件夹”对话框，在名称对话框，输入文件夹名称，然后选择“添加”；3、打开“添加文件夹目标”对话框，选择“浏览”；4、选择想...

# Glusterfs是一个开源的分布式文件系统，

一般在企业内部或线上公司，多数采用的是其中分布式复制卷范式存储数据，因为有数据备份，数据相对安全。同时在性能方面它能够同时处理千数量级的客户端请求。它的主要特性还包括：

1) 容量可以按比例的扩展，且性能没有明显降低。

2) 廉价且使用简单，完全抽象在已有的文件系统之上。

3) 扩展和容错设计的比较合理，复杂度较低

4) 适应性强，部署方便，对环境依赖低，使用，调试和维护便利

# 块存储、文件存储、对象存储这三者的本质差别是什么？

1）块存储：磁盘阵列，硬盘（块存储主要是将裸磁盘空间整个映射给主机使用的）

2）文件存储：FTP、NFS服务器（解决文件无法共享的问题）

3）对象存储：内置大容量硬盘的分布式服务器（解决容量、性能、可靠性等问题）

多台服务器内置大容量硬盘，再装上对象存储软件，

然后再额外搞几台服务作为管理节点，安装上对象存储管理软件。

# gluterfs主要运行场景：

存储大文件，针对小文件或超小文件的支持比较差

KVM镜像

视频文件

# FastDFS主要运行场景：

存放文件size范围：4K~500MB

发帖

高性能WEB开发

2.5w+

社区成员

4373

社区内容

高性能WEB开发

社区管理员

加入社区

帖子事件

创建了帖子

2014-10-10 09:18

社区公告

暂无公告