新来的发个问：什么开源项目适合小文件的高性能存储要求？

when30 2012-01-08 02:18:30
HDFS似呼适合的是大文件的，如果是小文件（相片，日志等）呢，而且读写频繁，比如社交网络那种的，有什么开源的项目能适合这种应用场景吗？

新来的，不太懂，希望能得到指点。（QQ：1360667）
...全文
119 1 打赏 收藏 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
when30 2012-01-09
  • 打赏
  • 举报
 回复
没人知道啊？除了openstack swift,还有啥呀？
StarGFS海量小文件的高性能存储和保护方案
本文介绍了StarGFS并行文件系统如何解决小文件存储和管理挑战，包括元数据节点服务的优化、动态分布元数据管理、小文件容器存储技术和文件对象存储接口。通过这些技术，StarGFS提高了数据读写性能，实现了海量小文件的高性能存储和备份保护。
对海量小文件存储优化的一些理解和TFS介绍
TFS（Taobao FileSystem）是一种针对海量小文件存储的分布式文件系统，采用文件合并存储策略，减少inode数量，提高读取性能。通过高可用和平滑扩容设计，TFS为淘宝等互联网服务提供高效存储解决方案。其结构包含两个NameServer（一主一备）和多个DataServer，每个Block包含多个小文件，通过Block ID和DataServer的关系进行数据访问。
BIGO 海量小文件存储实践
BIGO面临每天数十亿小文件存储挑战，现有集中式元数据架构存在瓶颈。文章探讨了分布式存储的集中式和去中心化架构，选择了Ceph的去中心化架构，但指出其在海量小文件存储中存在问题，如元数据管理、扩容和存储效率。为解决这些问题，BIGO设计了一个基于双层存储池的小文件合并优化方案，包括高性能SSD副本池和大容量存储池，实现了高性能、高效存储和快速故障恢复。
linux海量小文件 存储,BIGO海量小文件存储实践
BIGO面临着每日数十亿小文件的存储问题，选择了Ceph分布式存储系统。针对集中式元数据架构的瓶颈，BIGO采用去中心化架构的Ceph，并针对Ceph在小文件存储的挑战，如元数据管理、扩容数据迁移和存储效率，提出双层存储池方案，将小文件合并成大文件以优化存储和性能。通过硬件优化、元数据管理和小文件合并，系统在读写性能、存储效率和故障恢复速度上得到了提升。
WFS海量小文件存储系统
WFS文件存储系统专门解决海量小文件的存储问题，提供高效读写效率，适用于社交媒体、电子商务、在线视频、科研数据等多个场景。系统通过高效存储布局、分布式存储架构、元数据管理优化等技术，实现数据的高效存储与管理。支持多种图片处理需求，并提供了在线体验与使用文档。
Hadoop生态社区

20,843

社区成员

4,695

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章