社区
Java
帖子详情
2020-07-27:如何设计一个分布式文件系统,如何设计动态扩容和数据定位?
福大大架构师每日一题
2020-07-27 07:16:47
2020-07-27:如何设计一个分布式文件系统,如何设计动态扩容和数据定位?
...全文
4118
2
打赏
收藏
2020-07-27:如何设计一个分布式文件系统,如何设计动态扩容和数据定位?
2020-07-27:如何设计一个分布式文件系统,如何设计动态扩容和数据定位?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
KeepSayingNo
2020-09-28
打赏
举报
回复
分布式文件系统应该满足下面的要求: 应该符合 POSIX 的文件接口标准,使该系统易于使用,同时对于用户的遗留系统也无需改造; 对用户透明,能够像使用本地文件系统那样直接使用; 持久化,保证数据不会丢失; 具有伸缩性,当数据压力逐渐增长时能顺利扩容; 具有可靠的安全机制,保证数据安全; 数据一致性,只要文件内容不发生变化,什么时候去读,得到的内容应该都是一样的。
福大大架构师每日一题
2020-09-27
打赏
举报
回复
https://blog.csdn.net/weixin_48502062/article/details/107621687
Glasterfs 分布式网络文件系统
# Glusterfs是
一个
开源的
分布式文件系统
, 一般在企业内部或线上公司,多数采用的是其中分布式复制卷范式存储
数据
,因为有
数据
备份,
数据
相对安全。同时在性能方面它能够同时处理千数量级的客户端请求。它的主要特性还包括: 1) 容量可以按比例的扩展,且性能没有明显降低。 2) 廉价且使用简单,完全抽象在已有的文件系统之上。 3) 扩展和容错
设计
的比较合理,复杂度较低 4) 适应性强,部署方便,对环境依赖低,使用,调试和维护便利 # 块存储、文件存储、对象存储这三者的本质差别是什么? 1)块存储 :磁盘阵列,硬盘(块存储主要是将裸磁盘空间整个映射给主机使用的) 2)文件存储:FTP、NFS服务器(解决文件无法共享的问题) 3)对象存储:内置大容量硬盘的分布式服务器(解决容量、性能、可靠性等问题) 多台服务器内置大容量硬盘,再装上对象存储软件, 然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。 # gluterfs主要运行场景: 存储大文件,针对小文件或超小文件的支持比较差 KVM镜像 视频文件 # FastDFS主要运行场景: 存放文件size范围:4K~500MB
分布式文件系统
设计
分布式文件系统
是分布式领域的
一个
基础应用,其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟,但了解它的
设计
要点和思想,对我们将来面临类似场景 / 问题时,具有借鉴意义。并且,
分布式文件系统
并非只有 HDFS/GFS 这一种形态,在它之外,还有其他形态各异、各有千秋的产品形态,对它们的了解,也对扩展我们的视野有所俾益。本文试图分析和思考,在
分布式文件系统
领域,我们要解决哪些问题、有...
盘点分布式文件存储系统____分布式文件存储系统简介
在项目的
数据
存储中,结构化
数据
通常采用关系型
数据
库,非结构化
数据
(文件)的存储就有很多种方式,服务器本地存储、Nas挂载、ftp等等,今天就来盘点一下,分布式文件存储系统。 一、分布式存储简介 1、什么是分布式存储 在开始介绍分布式存储之前,先了解一下,非分布式的存储方案。 在单机时代,将文件直接存储在服务部署的服务器上—— 直连存储(DAS):存储和
数据
直连,拓展性、灵活性差。 为了扩展,将文件和服务分离,通过网络连接—— 中心化存储(NAS、SAN):设备类型丰富,通过网络互连,具有一定的拓展.
Java架构师-分布式(四):
分布式文件系统
【FastDFS(自己搭建)、阿里OSS(第三方文件存储系统)】
Java架构师-分布式(三):
分布式文件系统
-FastDFS+阿里OSS
Java
50,550
社区成员
85,621
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章