关于Web应用负载均衡及数据共享的几个问题-CSDN社区

pricks 2014-08-06

打赏
举报

引用 1 楼 ldh911 的回复:

[quote=引用楼主 ilove581314 的回复:] 我想对web应用进行负载均衡，有一些问题想请教：

按一般性做法回答你： 1. 几个web应用是不是连接同一个数据库？ —— 是！分库设计是另一个高度的事情了。 2. 比如我的应用中有秒杀活动，商品的份数是一定的，绝对不能超支，那这几个web应用中应该如何进行数据同步的控制？？ —— Web应用跟服务端一般来说是两个层面的东西；秒杀功能本身应该是独立服务端应用，由秒杀服务端进行独立处理，然后批量回写数据库。 —— 秒杀服务端考虑采用队列方式接收处理请求，极端情况下每个商品一个队列，每个队列有专门的单个服务器提供服务。如该服务崩溃，新的服务线程接管该队列处理，重新来过。 —— 可限制队列长度（如商品可秒杀数量×120%），超过长度的直接抛弃。[/quote] 对第2点，如果这样设计，估计得自己写个专门的组件了。例如：如果某个服务崩溃，让新的服务线程接管。这得有全局调度器，调度器得追踪各个任务是否崩溃……

skgary 2014-08-05

打赏
举报

第四个问题，如果用了memcache，显然memcache是按key 进行分布式缓存（如果有必要的话）；否则的话，系统中就只有一个mem cache.

skgary 2014-08-05

打赏
举报

第二个问题秒杀服务独立的原因就是为了避免服务器之间的同步与交互。这样很多变量就可以直接存在内存里，而不用存到数据库中，也不用考虑cache的有效性。反正把你要的东西全存内存，把关键的交易数据存在本地盘。可以减少很多很多不必要的麻烦。

ilove581314 2014-08-05

打赏
举报

引用 1 楼 ldh911 的回复:

[quote=引用楼主 ilove581314 的回复:] 我想对web应用进行负载均衡，有一些问题想请教：

按一般性做法回答你： 1. 几个web应用是不是连接同一个数据库？ —— 是！分库设计是另一个高度的事情了。 2. 比如我的应用中有秒杀活动，商品的份数是一定的，绝对不能超支，那这几个web应用中应该如何进行数据同步的控制？？ —— Web应用跟服务端一般来说是两个层面的东西；秒杀功能本身应该是独立服务端应用，由秒杀服务端进行独立处理，然后批量回写数据库。 —— 秒杀服务端考虑采用队列方式接收处理请求，极端情况下每个商品一个队列，每个队列有专门的单个服务器提供服务。如该服务崩溃，新的服务线程接管该队列处理，重新来过。 —— 可限制队列长度（如商品可秒杀数量×120%），超过长度的直接抛弃。 3. 应用中有一些数据统计和处理的操作，比如从某张表中查询某些信息，统计以及相关操作后就删掉了，那又怎么控制这几个应用不会相互影响呢？我对这个问题的想法是：关于数据处理的部分是可以独立出来的，单独跑，不和用户业务逻辑处理放在一起。不知道大家有什么别的思路。 —— 有策略问题，最简单的策略就是：全部依赖数据库（无缓存）； —— 面临更高并发要求时，就要权衡代价，1是牺牲一定的即时性（资讯发布类多为这种）；2是使用带同步机制的缓存（要注意同步是有代价的）。 4. 在没有用负载均衡之前，我用了一些static静态缓存，很方便，但负载均衡之后就不能用static静态缓存了，有没有一些好的缓存技术可以推荐，服务端用的，MemCache？JSC？可以多个应用同时使用并且能保证其中任何一个应用更新之后，其他应用都能及时收到最新的缓存。 —— 首先尽量区分缓存的类型，第一级别的是可以直接HTML化的，这类通过Ngnix+磁盘共享来解决； —— 应用级缓存主要是靠MemCache这类支持同步机制的解决； —— 此外还有内存数据库； —— 最后才是数据库级别。[/quote] 非常感谢您的回答，还想进一步请教您一些问题，对于第二个问题，您的意思就是秒杀服务端是独立的？不能使用负载均衡，即不能负载均衡中的每个应用都可以接收请求？？对于第三个问题的第一个回答，全部依赖数据库就不会产生问题了吗？比如：负载均衡中的多个应用可能同时查出相同的数据进行处理然后删除。对于第四个怪问题，MemCache这类缓存技术，我想问的是：它支持负载均衡中的多个应用同时操作的同步机制吗？谢谢！！

MiceRice 2014-08-05

打赏
举报

引用楼主 ilove581314 的回复:

我想对web应用进行负载均衡，有一些问题想请教：

按一般性做法回答你： 1. 几个web应用是不是连接同一个数据库？ —— 是！分库设计是另一个高度的事情了。 2. 比如我的应用中有秒杀活动，商品的份数是一定的，绝对不能超支，那这几个web应用中应该如何进行数据同步的控制？？ —— Web应用跟服务端一般来说是两个层面的东西；秒杀功能本身应该是独立服务端应用，由秒杀服务端进行独立处理，然后批量回写数据库。 —— 秒杀服务端考虑采用队列方式接收处理请求，极端情况下每个商品一个队列，每个队列有专门的单个服务器提供服务。如该服务崩溃，新的服务线程接管该队列处理，重新来过。 —— 可限制队列长度（如商品可秒杀数量×120%），超过长度的直接抛弃。 3. 应用中有一些数据统计和处理的操作，比如从某张表中查询某些信息，统计以及相关操作后就删掉了，那又怎么控制这几个应用不会相互影响呢？我对这个问题的想法是：关于数据处理的部分是可以独立出来的，单独跑，不和用户业务逻辑处理放在一起。不知道大家有什么别的思路。 —— 有策略问题，最简单的策略就是：全部依赖数据库（无缓存）； —— 面临更高并发要求时，就要权衡代价，1是牺牲一定的即时性（资讯发布类多为这种）；2是使用带同步机制的缓存（要注意同步是有代价的）。 4. 在没有用负载均衡之前，我用了一些static静态缓存，很方便，但负载均衡之后就不能用static静态缓存了，有没有一些好的缓存技术可以推荐，服务端用的，MemCache？JSC？可以多个应用同时使用并且能保证其中任何一个应用更新之后，其他应用都能及时收到最新的缓存。 —— 首先尽量区分缓存的类型，第一级别的是可以直接HTML化的，这类通过Ngnix+磁盘共享来解决； —— 应用级缓存主要是靠MemCache这类支持同步机制的解决； —— 此外还有内存数据库； —— 最后才是数据库级别。

skgary 2014-08-05

打赏
举报

引用 8 楼 ilove581314 的回复:

[quote=引用 4 楼 skgary 的回复:] 第四个问题，如果用了memcache，显然memcache是按key 进行分布式缓存（如果有必要的话）；否则的话，系统中就只有一个mem cache.

如果使用MemCache，并且负载均衡中的多个应用所使用的MemCache都存在一个地方（不分布），那么负载均衡中的多个应用如果同时进行 cache.put ("counter", cache.get("counter") +1); 之类的操作，会如何？如果有问题，有什么解决方案？[/quote] 1. 尽可能回避这种操作 2. 这种操作一般都是计数器，牺牲实时性。即每个计数器本地先计，然后再定时写到后面的memcache中 3. 用消息机制汇总再写memcache 最后说一下，不要企图寻找万全的解决方案，那根本不存在。

skgary 2014-08-05

打赏
举报

引用 7 楼 ilove581314 的回复:

[quote=引用 3 楼 skgary 的回复:] 第二个问题秒杀服务独立的原因就是为了避免服务器之间的同步与交互。这样很多变量就可以直接存在内存里，而不用存到数据库中，也不用考虑cache的有效性。反正把你要的东西全存内存，把关键的交易数据存在本地盘。可以减少很多很多不必要的麻烦。

那就相当于还是没有用负载均衡……？？本来是想着因为请求太多，一个Tomcat处理不过来，才做负载的……[/quote] 只要算法得当，tomcat肯定不会处理不过来。通常在软件内存中计算的，网络先瓶颈，有没有负载均衡根本无所谓。

ilove581314 2014-08-05

打赏
举报

引用 4 楼 skgary 的回复:

第四个问题，如果用了memcache，显然memcache是按key 进行分布式缓存（如果有必要的话）；否则的话，系统中就只有一个mem cache.

如果使用MemCache，并且负载均衡中的多个应用所使用的MemCache都存在一个地方（不分布），那么负载均衡中的多个应用如果同时进行 cache.put ("counter", cache.get("counter") +1); 之类的操作，会如何？如果有问题，有什么解决方案？

ilove581314 2014-08-05

打赏
举报

引用 3 楼 skgary 的回复:

第二个问题秒杀服务独立的原因就是为了避免服务器之间的同步与交互。这样很多变量就可以直接存在内存里，而不用存到数据库中，也不用考虑cache的有效性。反正把你要的东西全存内存，把关键的交易数据存在本地盘。可以减少很多很多不必要的麻烦。

那就相当于还是没有用负载均衡……？？本来是想着因为请求太多，一个Tomcat处理不过来，才做负载的……

ilove581314 2014-08-05

打赏
举报

引用 5 楼 ldh911 的回复:

[quote=引用 2 楼 ilove581314 的回复:] 还想进一步请教您一些问题，

对于第二个问题，您的意思就是秒杀服务端是独立的？不能使用负载均衡，即不能负载均衡中的每个应用都可以接收请求？？ —— 3楼解释的不错。 —— 可以使用复杂均衡。 —— 你的整个应用架构，必须是分层架构，负责接收各种请求的Web服务器，显然是群集的，且需要负载均衡；实际场景可能是：100W个用户在上面秒杀100种商品。 —— 但是后端的各种实际处理业务的服务器，是按业务来分别部署的，比如：提供搜索浏览的是一组、提供商品详细介绍的是一组、提供一般性购买的是一组、提供秒杀的是一组。 —— 这组负责秒杀的服务器，为了短时的超高速处理，就必须最大可能削减并发协调性事务（尤其是跨机器的）；所以它可以专门的一个线程去服务某一个商品的所有秒杀请求处理，这样最大可能消除并发的风险和所需的协调时间。 —— 那么刚才也看到了，100W个用户秒杀100种商品，落到具体这个线程，也就是要处理1W个请求。夸张点的说法：请问1个线程执行1W次 i-- 需要多长时间？实际上因为秒杀商品数量有限，根本还不需要实际处理这么多请求，队列中靠后的，直接失败掉就行了。对于第三个问题的第一个回答，全部依赖数据库就不会产生问题了吗？比如：负载均衡中的多个应用可能同时查出相同的数据进行处理然后删除。 —— 没问题，相当于把所有事务协调工作甩给了数据库，当然你的SQL必须正确。 —— 没有问题，后来发出删除请求的，必然会因为找不到数据可以删除而失败。但业务结果是正确的。这就好比你跟另外10个人看到还有1张车票，马上点进去买，显然除了第一个人能在数据库中占有这张票，其他人都失败了嘛；但业务结果是正确的。对于第四个怪问题，MemCache这类缓存技术，我想问的是：它支持负载均衡中的多个应用同时操作的同步机制吗？ —— 支持。 —— 另，使用了非常良好支持同步机制的组件或系统，不代表你的程序逻辑就能完全不用考虑事务；典型例子就是如果你的代码执行的是： cache.put ("counter", cache.get("counter") +1); 在并发环境下照样结果错误。具体原因相信你自己能理解吧？ [/quote] 。。。。。 1. 我的项目是分层，但不是分布式，所有的都在一个项目里。 2. 有可能会出问题吧，比如：负载均衡中的多个应用可能同时查出相同的数据进行处理（不说删除）。 3. 如果使用MemCache，并且负载均衡中的多个应用所使用的MemCache都存在一个地方（不分布），那么负载均衡中的多个应用如果同时进行 cache.put ("counter", cache.get("counter") +1); 之类的操作，会如何？如果有问题，有什么解决方案？

MiceRice 2014-08-05

打赏
举报

引用 2 楼 ilove581314 的回复:

还想进一步请教您一些问题，

对于第二个问题，您的意思就是秒杀服务端是独立的？不能使用负载均衡，即不能负载均衡中的每个应用都可以接收请求？？ —— 3楼解释的不错。 —— 可以使用复杂均衡。 —— 你的整个应用架构，必须是分层架构，负责接收各种请求的Web服务器，显然是群集的，且需要负载均衡；实际场景可能是：100W个用户在上面秒杀100种商品。 —— 但是后端的各种实际处理业务的服务器，是按业务来分别部署的，比如：提供搜索浏览的是一组、提供商品详细介绍的是一组、提供一般性购买的是一组、提供秒杀的是一组。 —— 这组负责秒杀的服务器，为了短时的超高速处理，就必须最大可能削减并发协调性事务（尤其是跨机器的）；所以它可以专门的一个线程去服务某一个商品的所有秒杀请求处理，这样最大可能消除并发的风险和所需的协调时间。 —— 那么刚才也看到了，100W个用户秒杀100种商品，落到具体这个线程，也就是要处理1W个请求。夸张点的说法：请问1个线程执行1W次 i-- 需要多长时间？实际上因为秒杀商品数量有限，根本还不需要实际处理这么多请求，队列中靠后的，直接失败掉就行了。对于第三个问题的第一个回答，全部依赖数据库就不会产生问题了吗？比如：负载均衡中的多个应用可能同时查出相同的数据进行处理然后删除。 —— 没问题，相当于把所有事务协调工作甩给了数据库，当然你的SQL必须正确。 —— 没有问题，后来发出删除请求的，必然会因为找不到数据可以删除而失败。但业务结果是正确的。这就好比你跟另外10个人看到还有1张车票，马上点进去买，显然除了第一个人能在数据库中占有这张票，其他人都失败了嘛；但业务结果是正确的。对于第四个怪问题，MemCache这类缓存技术，我想问的是：它支持负载均衡中的多个应用同时操作的同步机制吗？ —— 支持。 —— 另，使用了非常良好支持同步机制的组件或系统，不代表你的程序逻辑就能完全不用考虑事务；典型例子就是如果你的代码执行的是： cache.put ("counter", cache.get("counter") +1); 在并发环境下照样结果错误。具体原因相信你自己能理解吧？