社区
高性能WEB开发
帖子详情
分布式文件系统选择问题?
sbgphl
2014-10-10 09:18:54
系统预计至少要有1T的小图片不超过300k,还有其他大文件,在选择分布式文件系统
满足以下几个条件
1、无中心的、容易横向扩展的、单点故障不影响系统;
2、60%以小文件为主300k以下的,其他的文件可能是大文件;
3、开源社区活跃遇到问题容易解决,稳定的更新周期;
求推荐。。。。最好有案例。。。谢谢!
...全文
452
7
打赏
收藏
分布式文件系统选择问题?
系统预计至少要有1T的小图片不超过300k,还有其他大文件,在选择分布式文件系统 满足以下几个条件 1、无中心的、容易横向扩展的、单点故障不影响系统; 2、60%以小文件为主300k以下的,其他的文件可能是大文件; 3、开源社区活跃遇到问题容易解决,稳定的更新周期; 求推荐。。。。最好有案例。。。谢谢!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
skgary
2014-10-19
打赏
举报
回复
引用 6 楼 sbgphl 的回复:
一开始还是不考虑分布式文件系统了,还是分散存储吧。。
既然 不考虑成本问题,买个net app就结束了。 如果你规模不是很大,自己维护远比买商用产品的成本高。
sbgphl
2014-10-17
打赏
举报
回复
一开始还是不考虑分布式文件系统了,还是分散存储吧。。
sbgphl
2014-10-13
打赏
举报
回复
严重缺少案例。。。
skgary
2014-10-10
打赏
举报
回复
问题是有多少钱? 如果只是自己用,如果真的要求有那么高,买商用的NAS存贮设备,一般都可以满足。
pricks
2014-10-10
打赏
举报
回复
基于hadoop改吧。不改不行,你的文件太小了 NAS后期扩展很麻烦呀,个人不建议
sbgphl
2014-10-10
打赏
举报
回复
性能上 NAS 对比 分布式文件系统差别很大吗?
sbgphl
2014-10-10
打赏
举报
回复
先不考虑成本,公司用搭建系统。 目前我认为一次构建系统还是用商用NAS便宜些,毕竟系统增长到何种程度是不确定的。 如果采用分布式存储软件,成本在于运维团队。
分布式文件系统
概念与技术
分布式文件系统
1
分布式文件系统
的基本概念 1,文件是具有符号名和一组数据项的有序序列。读指针、写指针;文件也可以定义为存储在外部存储介质上的数据的集合;系统文件与用户文件;流式文件与记录式文件;临时文件、永久性文件、档案文件;顺序文件、链接文件、索引文件、Hash文件、索引顺序文件;顺序存取文件、随机存取文件;UNIX系统中文件分为普通文件、目录文件、特殊文件; 2,管理文件的文件系统; 3,
分布式文件系统
网络文件系统NFS; Andrew文件系统AFS;
分布式文件系统
DFS; 2 分布式文件
分布式文件系统
(Distributed File System,DFS)
分布式文件系统
(Distributed File System,DFS) 一、什么是
分布式文件系统
1、文件系统的定义: 硬盘是计算机最主要的存储设备,数据按扇区存放在硬盘上。硬盘属于硬件,用户无法直接对其进行操作,由操作系统帮我们管理。文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构;即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。文件系统由三部分组成:文件系统的接口,对对象操纵和管理的软件集合,对象及属性。从系统角度来看,文件
分布式文件系统
和分布式数据库有什么不同?
分布式文件系统
和分布式数据库有什么关系?
分布式文件系统
(dfs)和分布式数据库都支持存入,取出和删除。但是
分布式文件系统
比较暴力,可以当做key/value的存取。分布式数据库涉及精炼的数据 ,传统的分布式关系型数据库会定义数据元组的schema,存入取出删除的粒度较小。
分布式文件系统
现在比较出名的有GFS(未开源),HDFS(Hadoop distributed file system
【
分布式文件系统
】介绍
分布式文件系统
是分布式存储的一种实现,它与分布式块存储、分布式对象存储是同一层级、提供不同访问抽象和适用场景的存储解决方案。它们都属于分布式系统这个更大的范畴。互联网的兴起、大数据时代的到来、云计算的发展、科学计算(如基因测序、天体物理模拟)等场景产生了海量数据存储、高并发访问和高可靠性的需求,这些都极大地推动了
分布式文件系统
的发展和应用。像 Google 的 GFS 和开源的 HDFS 就是为了支撑大规模网络爬虫数据处理和 MapReduce 计算而诞生的典型例子。
分布式文件系统
选型小记
分布式文件系统
选型小记 Q&A
分布式文件系统
是什么?
分布式文件系统
(Distributed File System,DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,是通过计算机网络与节点(可简单的理解为一台计算机)相连。 为什么要使用
分布式文件系统
? 提高扩展能力,避免单点故障。 如何找到适合自己的
分布式文件系统
? 对
分布式文件系统
进行相关调研选型。 本文主要是介绍
分布式文件系统
的选型,关于定义和为何使用,请查询相关资料。 需求说明 目前要找的文件系统至少满足以下条
高性能WEB开发
25,980
社区成员
4,366
社区内容
发帖
与我相关
我的任务
高性能WEB开发
高性能WEB开发
复制链接
扫一扫
分享
社区描述
高性能WEB开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章