社区
高性能WEB开发
帖子详情
分布式文件系统选择问题?
sbgphl
2014-10-10 09:18:54
系统预计至少要有1T的小图片不超过300k,还有其他大文件,在选择分布式文件系统
满足以下几个条件
1、无中心的、容易横向扩展的、单点故障不影响系统;
2、60%以小文件为主300k以下的,其他的文件可能是大文件;
3、开源社区活跃遇到问题容易解决,稳定的更新周期;
求推荐。。。。最好有案例。。。谢谢!
...全文
419
7
打赏
收藏
分布式文件系统选择问题?
系统预计至少要有1T的小图片不超过300k,还有其他大文件,在选择分布式文件系统 满足以下几个条件 1、无中心的、容易横向扩展的、单点故障不影响系统; 2、60%以小文件为主300k以下的,其他的文件可能是大文件; 3、开源社区活跃遇到问题容易解决,稳定的更新周期; 求推荐。。。。最好有案例。。。谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
skgary
2014-10-19
打赏
举报
回复
引用 6 楼 sbgphl 的回复:
一开始还是不考虑分布式文件系统了,还是分散存储吧。。
既然 不考虑成本问题,买个net app就结束了。 如果你规模不是很大,自己维护远比买商用产品的成本高。
sbgphl
2014-10-17
打赏
举报
回复
一开始还是不考虑分布式文件系统了,还是分散存储吧。。
sbgphl
2014-10-13
打赏
举报
回复
严重缺少案例。。。
skgary
2014-10-10
打赏
举报
回复
问题是有多少钱? 如果只是自己用,如果真的要求有那么高,买商用的NAS存贮设备,一般都可以满足。
pricks
2014-10-10
打赏
举报
回复
基于hadoop改吧。不改不行,你的文件太小了 NAS后期扩展很麻烦呀,个人不建议
sbgphl
2014-10-10
打赏
举报
回复
性能上 NAS 对比 分布式文件系统差别很大吗?
sbgphl
2014-10-10
打赏
举报
回复
先不考虑成本,公司用搭建系统。 目前我认为一次构建系统还是用商用NAS便宜些,毕竟系统增长到何种程度是不确定的。 如果采用分布式存储软件,成本在于运维团队。
相关推荐
1小时学会SpringBoot整合FastDFS
【课程介绍】 课程目标:让大家熟练掌握SpringBoot如何整合FastDFS文件服务器实现文件的上传 适合人群:必须得有一定的Java基础,会SSM框架的同学
分布式文件系统
(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。 通俗来讲:- 传统文件系统管理的文件就存储在本机。-
分布式文件系统
管理的文件存储在很多机器,这些机器通过网络连接,要被统一管理。无论是上传或者访问文件,都需要通过管理中心来访问## 3.2.什么是FastDFSFastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源
分布式文件系统
。用纯C语言开发,功能丰富:- 文件存储- 文件同步- 文件访问(上传、下载)- 存取负载均衡- 在线扩容适合有大容量存储需求的应用或系统。同类的
分布式文件系统
有谷歌的GFS、HDFS(Hadoop)、TFS(淘宝)等。
主流
分布式文件系统
选型,写得太好了!
###一、概述
分布式文件系统
是分布式领域的一个基础应用,其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/
问题
时,具有借鉴意义。 并且,
分布式文件系统
并非只有 HDFS/GFS 这一种形态,在它之外,还有其他形态各异、各有千秋的产品形态,对它们的了解,也对扩展我们的视野有所俾益。 本文试图分析和思考,在
分布式文件系统
领域,我们要解决哪些
问题
、有些什么样的方案、以及各自的
选择
依据。 二、过去的样子 在几十年以前,
分布式文件系统
就已经出现了,
只知道HDFS和GFS?你其实并不懂
分布式文件系统
一、概述
分布式文件系统
是分布式领域的一个基础应用,其中最著名的毫无疑问是 HDFS/GFS 。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/
问题
时,具有借鉴意义。 并且,
分布式文件系统
并非只有 HDFS/GFS 这一种形态,在它之外,还有其他形态各异、各有千秋的产品形态,对它们的了解,也对扩展我们的视野有所俾益。 本文试图分析和思考,在
分布式文件系统
领域,我们要解决哪些
问题
、有些什么样的方案、以及各自的
选择
依据。 二、过去的样子 在几十年以前,
分布式文件系统
就已经出现了,以
分布式文件系统
之在域命名空间中新建文件夹
分布式文件系统
之安装
分布式文件系统
之创建 DFS 命名空间
分布式文件系统
之配置DFS复制
分布式文件系统
之在域命名空间中新建文件夹
分布式文件系统
之管理DFS复制与基于访问的枚举1、打开“ DFS 管理”右击域命名空间,
选择
“新建文件夹”;2、打开“新建文件夹”对话框,在名称对话框,输入文件夹名称,然后
选择
“添加”;3、打开“添加文件夹目标”对话框,
选择
“浏览”;4、
选择
想...
Glasterfs 分布式网络文件系统
# Glusterfs是一个开源的
分布式文件系统
, 一般在企业内部或线上公司,多数采用的是其中分布式复制卷范式存储数据,因为有数据备份,数据相对安全。同时在性能方面它能够同时处理千数量级的客户端请求。它的主要特性还包括: 1) 容量可以按比例的扩展,且性能没有明显降低。 2) 廉价且使用简单,完全抽象在已有的文件系统之上。 3) 扩展和容错设计的比较合理,复杂度较低 4) 适应性强,部署方便,对环境依赖低,使用,调试和维护便利 # 块存储、文件存储、对象存储这三者的本质差别是什么? 1)块存储 :磁盘阵列,硬盘(块存储主要是将裸磁盘空间整个映射给主机使用的) 2)文件存储:FTP、NFS服务器(解决文件无法共享的
问题
) 3)对象存储:内置大容量硬盘的分布式服务器(解决容量、性能、可靠性等
问题
) 多台服务器内置大容量硬盘,再装上对象存储软件, 然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。 # gluterfs主要运行场景: 存储大文件,针对小文件或超小文件的支持比较差 KVM镜像 视频文件 # FastDFS主要运行场景: 存放文件size范围:4K~500MB
高性能WEB开发
25,989
社区成员
4,373
社区内容
发帖
与我相关
我的任务
高性能WEB开发
高性能WEB开发
复制链接
扫一扫
分享
社区描述
高性能WEB开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告