高并发存储问题解决方案

[hassen2010]

现在有大概1000个机器的节点用来做3d软件的渲染使用的，3d软件调用的渲染文件来自一个文件服务器，通过网络共享的方式调用。现在1000机器同时渲染的时候，文件服务器的磁盘出现瓶颈，甚至操作系统很卡。

目前的硬件配置基本都是顶级，有什么好的架构方案可以解决这样的问题，希望大神出现。


1000节点并发访问一个文件服务器，网络不是瓶颈，磁盘的瓶颈。
1.瓶颈1就是磁盘最快速度只能是500GB/S
2.如果遇到小文件太多，速度就更低，而且操作系统很慢，用的是2008的系统。

[踏实每一步]

既然网络不是瓶颈，就不要用网络磁盘共享的方式实时去读文件服务器文件。 大致思路是做个内存cache，把经常使用文件置于这个缓存中。当节点来访问的时候，先遍历cahce，这肯定比你读磁盘快。当在cache找不到情况下，再去读取磁盘内容。

[haitao]

让服务器分层级： 渲染文件 源头的文件服务器 编为0号 其它编为001-999号，它们只能访问 (自己号码/10)号 服务器上的文件，并把文件复制到自己的硬盘，并共享

[帝瓜]

不懂，帮顶。。。

[dzut88]

文件服务器建立RAID0阵列，读写速度会上升。

[xuguilin]

RAID0是最快的方式，但是能否达到你的要求还不一定。我的建议是： a)先理论计算一下你对IOPS的大概要求是在什么范围内（考虑多少节点同时访问，访问文件大小怎样） b)利用上面的结果去计算一下理论上RAID0需要多少块硬盘来达到这个速度，注意RAID0也不能够保证你的IOPS能线性增长。 c)如果小文件很多，就需要考虑怎样合并小问题，减少对IO的要求。比如能否把一组一块使用的小文件压缩成一个大文件。读取的时候以大文件为一个单位去读有时候比一个个小文件去读反而更快。尽管这可能会读一些不需要的问题。 d)如果你的文件不需要经常修改，本地Cache是最好的解决方案，而且还很容易。如果需要经常修改，则一致性保证比较困难点。这时候可以考虑使用分布式Cache。看看一些开源的分布式Cache解决方案，你应该能够找到合适的。

[zhsxcn]

问题的核心是存储设备性能欠佳。且贵司可能聚焦在媒资业务，单个文件服务器的计算能力有限，性能也无法横向拓展，1000个应用节点已经超出单个文件服务器处理能力。LZ需要考虑一套集群文件系统。这种系统可以把访问负载分布到存储集群中。 LZ可以购买商业集群NAS产品（EMC Isilon，Huawei N9000，Sugon ParaStor200等）或开源分布式NAS产品（Lustre、Ceph）作为解决方案。

[xuguilin]

我们可以通过体系架构的改进来减少对于io的需求呀。买硬件简单，但是它不一定是最有效的。

[zwhkmxy]

既然网络不是瓶颈，就不要用网络磁盘共享的方式实时去读文件服务器文件。

[anzhsoft]

可以用SSD做缓存。将热点数据放到SSD。很多混合阵列就是使用SSD做一层缓存，可以大幅提高IOPS。

[xuguilin]

SSD做缓存是个挺好的方案。就是要搞定老板预算，因为ＳＳＤ目前还是比较贵的。

[xing020010]

楼主的磁盘速度能到500GB/S应该已经用得SSD了，再想提高真的就只能用分布式文件系统进行横向扩展了。另外楼主能透露一下用的是什么网络吗500GB/S的传输都没满

[wuyu1998]

硬盘500GB/S，1000个计算节点，平均每个节点500MB/s。 最坏情况，1000个节点更系读取同一个硬盘的文件。 更改系统体系架构，使用分布式key-value存储系统，应该能解决问题。 但是，该方法需要你修改3d渲染程序，使其在读写时，能重定向到缓存服务器上。 20个缓存节点，每个节点128GB内存。 总计2TB。 相信大部分文件都已经放入内存了。