如何解决分布式系统中入口服务器的瓶颈？

[小竹z]

RT。小弟最近研究一个分布式存储系统，想支持透明容错机制，于是系统结构设计为：一个入口服务器，背后连接了N太存储服务器，所有的消息均由入口服务器转发给存储服务器。但是这样就存在一个问题：入口服务器会成为瓶颈。比如入口服务器带宽100Mb，client上传文件（假定单个文件36KB)，每秒最多只能处理350个消息（100/8*1024/36），该如何解决呢？
目前想到的解决方案：
1.增加多个入口服务器，但这样并不能充分利用背后的存储服务器（假定有10台存储服务器，每台配置100Mb带宽，理论上可以支持3500个消息/s），而且为了支持大量并发连接（10万）,需要很多个入口服务器额。

[夜无边CN]

引用 2 楼 zgxyz2010 的回复:

[quote=引用 1 楼 w574717155 的回复:] [quote=引用 楼主 zgxyz2010 的回复:] RT。小弟最近研究一个分布式存储系统，想支持透明容错机制，于是系统结构设计为：一个入口服务器，背后连接了N太存储服务器，所有的消息均由入口服务器转发给存储服务器。但是这样就存在一个问题：入口服务器会成为瓶颈。比如入口服务器带宽100Mb，client上传文件（假定单个文件36KB)，每秒最多只能处理350个消息（100/8*1024/36），该如何解决呢？ 目前想到的解决方案： 1.增加多个入口服务器，但这样并不能充分利用背后的存储服务器（假定有10台存储服务器，每台配置100Mb带宽，理论上可以支持3500个消息/s），而且为了支持大量并发连接（10万）,需要很多个入口服务器额。

入口服务器并不一定要来实际处理这些消息。比如文件上传，入口服务器接收到一个上传请求后，把这个请求做了相应处理后，转发给相应存储服务器就行了，然后让这个存储服务器来实际处理这个请求就行了。[/quote] 入口服务器把存储服务器地址暴露给client，client再建立到该存储服务器的连接，上传文件？这样的话，每次上传文件都要有连接建立和撤销的开销哦，我搞的那个对实时性也有一定的要求。[/quote] 相应对上传文件来说，这个建立连接的时间可以忽略。这不会对你的实时性有影响吧。

[夜无边CN]

引用 楼主 zgxyz2010 的回复:

RT。小弟最近研究一个分布式存储系统，想支持透明容错机制，于是系统结构设计为：一个入口服务器，背后连接了N太存储服务器，所有的消息均由入口服务器转发给存储服务器。但是这样就存在一个问题：入口服务器会成为瓶颈。比如入口服务器带宽100Mb，client上传文件（假定单个文件36KB)，每秒最多只能处理350个消息（100/8*1024/36），该如何解决呢？ 目前想到的解决方案： 1.增加多个入口服务器，但这样并不能充分利用背后的存储服务器（假定有10台存储服务器，每台配置100Mb带宽，理论上可以支持3500个消息/s），而且为了支持大量并发连接（10万）,需要很多个入口服务器额。

入口服务器并不一定要来实际处理这些消息。比如文件上传，入口服务器接收到一个上传请求后，把这个请求做了相应处理后，转发给相应存储服务器就行了，然后让这个存储服务器来实际处理这个请求就行了。

[小竹z]

引用 1 楼 w574717155 的回复:

[quote=引用 楼主 zgxyz2010 的回复:] RT。小弟最近研究一个分布式存储系统，想支持透明容错机制，于是系统结构设计为：一个入口服务器，背后连接了N太存储服务器，所有的消息均由入口服务器转发给存储服务器。但是这样就存在一个问题：入口服务器会成为瓶颈。比如入口服务器带宽100Mb，client上传文件（假定单个文件36KB)，每秒最多只能处理350个消息（100/8*1024/36），该如何解决呢？ 目前想到的解决方案： 1.增加多个入口服务器，但这样并不能充分利用背后的存储服务器（假定有10台存储服务器，每台配置100Mb带宽，理论上可以支持3500个消息/s），而且为了支持大量并发连接（10万）,需要很多个入口服务器额。

入口服务器并不一定要来实际处理这些消息。比如文件上传，入口服务器接收到一个上传请求后，把这个请求做了相应处理后，转发给相应存储服务器就行了，然后让这个存储服务器来实际处理这个请求就行了。[/quote] 入口服务器把存储服务器地址暴露给client，client再建立到该存储服务器的连接，上传文件？这样的话，每次上传文件都要有连接建立和撤销的开销哦，我搞的那个对实时性也有一定的要求。