请教一个关于 "WEB集群负载均衡" 的问题! 谢谢各位!

[icerdx]

各位前辈好!

今天老师除了毕业论文的题目，"WEB集群负载均衡的研究及仿真实现",其中提到,很多东西是要用 OpenNet来做, 请问各位，这个软件在哪儿能下到呢，如果,各位知道这个地址的,请教下下哈!

在做这个论文之前，我应该做那些基础知识的准备呢?VC,TCP\IP,及基本网络知识,还有什么需要注意及准备的呢?我想在和导师见面之前有一个大概的了解和准备!

谢谢各位前辈的指点!我的电子邮件是：[e-mail] QQ:52771727，谢谢指教！

[HanZhu1]

看看 f5 的设备资料吧

[icerdx]

麻烦各位前辈了，如果对于这方面了解的，请指点一二哈!谢谢!

[netsys2]

中国顶级门户网站架构分析[zt]



首先声明，下面的内容都是我个人根据一些工具形成的猜想。并不保证和现实中各大门户网站所用的架构一摸一样，不过我认为八九不离十了。

　　新浪和搜狐在国内的知名度可谓无人不知无人不晓。他们每天的点击率都在千万以上。这样大的访问量对于新浪和搜狐来说怎样利用有限的资源让网民获得最快的速度成为首要的前提，毕竟现在网络公司已经离开了烧钱的阶段，开始了良性发展，每一笔钱砸下去都需要一定回响才行的。另一方面，技术人员要绞尽脑汁，不能让用户老是无法访问、或者访问速度极慢。这样就算有再好的编辑、再好的销售，他们也很难将广告位卖出去，等待他们的将是关门。当然这些情况都没有发生，因为他们的技术人员都充分的利用了现有资源并将他们发挥到了极至。说到底就是用squid做web cache server，而apache在squid的后面提供真正的web服务。当然使用这样的架构必须要保证主页上大部分都是静态页面。这就需要程序员的配合将页面在反馈给客户端之前将页面全部转换成静态页面。好了基本架构就这样，下面说说我怎么猜到的以及具体的架构：

　　法宝之一：nslookup

　　实战：

nslookup www.sina.com.cn
Server: ns-px.online.sh.cn
Address: 202.96.209.5

Non-authoritative answer:
Name: taurus.sina.com.cn
Addresses: 61.172.201.230, 61.172.201.231, 61.172.201.232, 61.172.201.233
61.172.201.221, 61.172.201.222, 61.172.201.223, 61.172.201.224, 61.172.201.225
61.172.201.226, 61.172.201.227, 61.172.201.228, 61.172.201.229
Aliases: www.sina.com.cn, jupiter.sina.com.cn

　　这里可以看到新浪在首页上用到了那么多IP，开始有人会想果然新浪财大气粗啊。其实不然，继续往下看：

nslookup news.sina.com.cn
Server: ns-px.online.sh.cn
Address: 202.96.209.5

Non-authoritative answer:
Name: taurus.sina.com.cn
Addresses: 61.172.201.228, 61.172.201.229, 61.172.201.230, 61.172.201.231
61.172.201.232, 61.172.201.233, 61.172.201.221, 61.172.201.222, 61.172.201.223
61.172.201.224, 61.172.201.225, 61.172.201.226, 61.172.201.227
Aliases: news.sina.com.cn, jupiter.sina.com.cn

　　细心的人可以发现了news这个频道的ip数和首页上一样，而且IP也完全一样。也就是这些IP在sina的DNS上的名字都叫taurus.sina.com.cn，那些IP都是这个域的A记录。而news,sports,jczs.news。。。都是CNAME记录。用DNS来做自动轮询。还不信，再来一个，就体育频道好了：

nslookup sports.sina.com.cn
Server: ns-px.online.sh.cn
Address: 202.96.209.5

Non-authoritative answer:
Name: taurus.sina.com.cn
Addresses: 61.172.201.222, 61.172.201.223, 61.172.201.224, 61.172.201.225
61.172.201.226, 61.172.201.227, 61.172.201.228, 61.172.201.229, 61.172.201.230
61.172.201.231, 61.172.201.232, 61.172.201.233, 61.172.201.221
Aliases: sports.sina.com.cn, jupiter.sina.com.cn

　　其他的可以自己试。好了再来看看sohu的情况：

[netsys2]

nslookup www.sohu.com
Server: ns-px.online.sh.cn
Address: 202.96.209.5

Non-authoritative answer:
Name: pagegrp1.sohu.com
Addresses: 61.135.132.172, 61.135.132.173, 61.135.132.176, 61.135.133.109
61.135.145.47, 61.135.150.65, 61.135.150.67, 61.135.150.69, 61.135.150.74
61.135.150.75, 61.135.150.145, 61.135.131.73, 61.135.131.91, 61.135.131.180
61.135.131.182, 61.135.131.183, 61.135.132.65, 61.135.132.80
Aliases: www.sohu.com

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

nslookup news.sohu.com
Server: ns-px.online.sh.cn
Address: 202.96.209.5

Non-authoritative answer:
Name: pagegrp1.sohu.com
Addresses: 61.135.150.145, 61.135.131.73, 61.135.131.91, 61.135.131.180
61.135.131.182, 61.135.131.183, 61.135.132.65, 61.135.132.80, 61.135.132.172
61.135.132.173, 61.135.132.176, 61.135.133.109, 61.135.145.47, 61.135.150.65
61.135.150.67, 61.135.150.69, 61.135.150.74, 61.135.150.75
Aliases: news.sohu.com

　　情况和sina一样，只是从表面来看sohu的IP数要多于sina的IP数，那么sohu上各个频道用的服务器就要多于sina了？当然不能这么说，因为一台服务器可以绑定多个IP，因此不能从IP数的多少来判断用了多少服务器。

　　从上面这些实验可以基本看出sina和sohu对于频道等栏目都用了相同的技术，即squid来监听这些IP的80端口，而真正的web server来监听另外一个端口。从用户的感觉上来说不会有任何的区别，而相对于将web server直接和客户端连在一起的方式，这样的方式明显的节省的带宽和服务器。用户访问的速度感觉也会更快。
　　1. 难道就根据几个域名的ip相同就可以证明他们是使用squid的嘛？

　　当然不是，前面都只是推测。下面才是真正的证实我上面的猜测。先nslookup一把sina的体育频道。

nslookup sports.sina.com.cn
Server: ns1.china.com
Address: 61.151.243.136
Non-authoritative answer:
Name: taurus.sina.com.cn
Addresses:61.172.201.231, 61.172.201.232, 61.172.201.233, 61.172.201.9
61.172.201.10, 61.172.201.11, 61.172.201.12, 61.172.201.13, 61.172.201.14
61.172.201.15, 61.172.201.16, 61.172.201.17, 61.172.201.227, 61.172.201.228
61.172.201.229, 61.172.201.230
Aliases: sports.sina.com.cn, jupiter.sina.com.cn

　　然后直接访问这些ip中的任意一个ip试试看，访问下来的结果应该是如下图所示：



　　由此可以证明sina是在dns中设置了很多ip来指向域名sqsh-19.sina.com.cn，而其他各种相同性质的频道都只是sqsh-19.sina.com.cn一个别名，用CNAME指定。dns的设置应该是这样的，然后server方面，通过squid 2.5.STABLE5（最新的稳定版为STABLE6）来侦听80端口。上面这些是根据一些信息分析而出的，应该基本正确的。下面一些就是我的个人的猜想：

　　它的真正的web server也同样是侦听80端口，因为在squid配置文件中有一项是：

httpd_accel_port 80

　　如果你设成其他端口号（比如88）的话，那上图的错误信息就会变成

While trying to retrieve the URL: http://61.172.201.19:88

　　工具2：nmap扫描程序：可以用来检查服务器开了什么端口。

　　我现在用nmap来扫描sina的一个ip：61.172.201.19来进行分析

bash-2.05$ nmap 61.172.201.19

Starting nmap 3.50 ( http://www.insecure.org/nmap/ ) at 2004-07-30 13:31 GMT
Interesting ports on 61.172.201.19:
(The 1657 ports scanned but not shown below are in state: filtered)
PORT STATE SERVICE
22/tcp open ssh
80/tcp open http

Nmap run completed -- 1 IP address (1 host up) scanned in 73.191 seconds

　　可以看到他对外只开了2个端口，80端口就是刚才我们说的squid打开的，这点刚才已经验证过了。而22端口是用来ssh远程连接的，主要是sa用来远程操作服务器用的安全性非常高的方法。

　　工具3：lynx或者其他可以读取http头文件的工具及小程序：

　　直接看例子比较好理解：

HTTP/1.0 200 OK
Date: Fri, 30 Jul 2004 05:49:47 GMT
Server: Apache/2.0.49 (Unix)
Last-Modified: Fri, 30 Jul 2004 05:48:16 GMT
Accept-Ranges: bytes
Vary: Accept-Encoding
Cache-Control: max-age=60
Expires: Fri, 30 Jul 2004 05:50:47 GMT
Content-Length: 180747
Content-Type: text/html
Age: 37
X-Cache: HIT from sqsh-230.sina.com.cn
Connection: close

　　上面是sina的http头的反馈信息。里面有很多有价值的东东哦：）譬如，它后面的apache是用2.0.49，还设了过期时间为2分钟。最后修改时间。这些都是要在编译apache的时候载入的，特别是Last-Modified还需要小小的改一把源码--至少我是这样做的。

　　综上所述

　　sina的架构应该是前面squid，按照现在的服务器2u，2g内存一般每台服务器至少可以跑4个squid2.5stable5. 这样它16个ip就用了4台服务器。后面一层是apache2.0.49应该会用2台。这2台可能用的全是私有ip，通过前面的squid服务器在hosts文件中指定。具体的实现方法我会下次整理出我做实验的文档：）而apache的htdocs可能是有一个或2个磁盘阵列作nfs。apache mount nfs server的时候应该是只读的，然后另外还有服务器转门用来做编辑器服务器，用来编辑人员更新文章。这台服务器应该对nfs server是具有可写的权限。

　　----这就一套完整的sina所运用的方案，当然很多是靠猜测的，我没有和sina的技术人员有过任何沟通（因为一个也不认识），否则我也就不会写出来了。其他sohu，163应该也有这样的架构。

　　最后声明：这只是一些静态页面组成频道的一个架构，sina还有很多其他服务器，什么下载，在线更新等不在这个架构中。

[netsys2]

ruf



发表于: Sun 2004-12-19 16:08:33 发表主题:

--------------------------------------------------------------------------------

新浪采用了ChinaCache做的CDN系统，ChinaCache在全国分布了四十多个点，同时采用基于动态DNS分配的全球服务器负载均衡技术。

例如在北京地区ChinaCache将www.sina.com.cn的网址解析到libra.sina.com.cn，然后libra.sina.com.cn做了DNS负载均衡，将libra.sina.com.cn解析到61.135.152.71等16个ip上，这16个ip分布在北京的多台前台缓存服务器上，使用squid做前台缓存。
_________________

delphij
发表于: Sun 2004-12-19 18:04:22 发表主题:

--------------------------------------------------------------------------------

ChinaCache可能已经是很久以前的事情了

ruf 写到:
新浪采用了ChinaCache做的CDN系统，ChinaCache在全国分布了四十多个点，同时采用基于动态DNS分配的全球服务器负载均衡技术。

例如在北京地区ChinaCache将www.sina.com.cn的网址解析到libra.sina.com.cn，然后libra.sina.com.cn做了DNS负载均衡，将libra.sina.com.cn解析到61.135.152.71等16个ip上，这16个ip分布在北京的多台前台缓存服务器上，使用squid做前台缓存。

_________________

dryice


发表于: Sun 2004-12-19 20:36:50 发表主题:

--------------------------------------------------------------------------------

象ChinaCache这种做法，不知道各个地区之间的数据库是怎么同步的？
_________________

Howard




发表于: Sun 2004-12-19 21:42:17 发表主题:

--------------------------------------------------------------------------------



ruf




发表于: Sun 2004-12-19 21:44:14 发表主题:

--------------------------------------------------------------------------------

delphij 写到:
ChinaCache可能已经是很久以前的事情了



哦……不过架构没有变化吧？
_________________

delphij

发表于: Mon 2004-12-20 00:33:40 发表主题:

--------------------------------------------------------------------------------

ruf 写到:
哦……不过架构没有变化吧？


有些东西比较敏感，不便透露，不过感觉ruf兄比这篇文章的作者更了解一些:-)

楼主转的这篇文章中有很多地方是在猜测，而且方法也有问题——用IP判断服务器数量很多时候是不正确的，例如Google，等等。
_________________

dfine




发表于: Mon 2004-12-20 16:30:30 发表主题:

--------------------------------------------------------------------------------

这么大规模的应用，一定会有七层负载均衡交换机的。 比如 Bigip的F5等等


CancerMan



发表于: Mon 2004-12-20 19:11:51 发表主题:

--------------------------------------------------------------------------------

ChinaCache和CacheFlow是一伙的吗？

我记得好久以前SINA用的是一个叫CACHEFLOW的东西

另外CDN / ECDN 是CISCO的专利吗？谁能回答我一下？谢谢！！
_________________


colddawn




发表于: Mon 2004-12-20 20:56:45 发表主题:

--------------------------------------------------------------------------------

比起这篇文章，chinaunix.net的牛人们的分析更为透彻，不管对还是不对，这方面的东西还是非常值得讨论的。


itbbs




发表于: Tue 2004-12-21 00:48:42 发表主题:

--------------------------------------------------------------------------------

CancerMan 写到:
ChinaCache和CacheFlow是一伙的吗？

我记得好久以前SINA用的是一个叫CACHEFLOW的东西

另外CDN / ECDN 是CISCO的专利吗？谁能回答我一下？谢谢！！


ChinaCache是北京一个运营CDN的公司；
CacheFlow是美国的一个生产CACHE系统的公司，后来被收购了。具体收购方忘记了。

集群系统+CDN满足大流量访问，个人认为比较理想。


yarshure



注册时间: 2002-06-11
文章: 906
来自: ShangHai
发表于: Tue 2004-12-21 09:48:54 发表主题:

--------------------------------------------------------------------------------

去chedong.com看看吧,很详细的!
colddawn 写到:
比起这篇文章，chinaunix.net的牛人们的分析更为透彻，不管对还是不对，这方面的东西还是非常值得讨论的。

_________________
专业始于专注

返回页首


chifeng



注册时间: 2002-07-17
文章: 330
来自: 北京
发表于: Tue 2004-12-21 11:09:38 发表主题:

--------------------------------------------------------------------------------

yarshure 写到:
去chedong.com看看吧,很详细的!
colddawn 写到:
比起这篇文章，chinaunix.net的牛人们的分析更为透彻，不管对还是不对，这方面的东西还是非常值得讨论的。



yarshure大哥
我去chedong.com看了，怎么没有找到啊？？
_________________
菜鸟！

返回页首


叶大马猴



注册时间: 2002-10-11
文章: 59
来自: 厦门
发表于: Tue 2004-12-21 14:17:41 发表主题:

--------------------------------------------------------------------------------

如果知道url...也顺手贴出来吧。
_________________


返回页首


fafnir



注册时间: 2004-07-16
文章: 2

发表于: Tue 2004-12-21 19:25:26 发表主题:

--------------------------------------------------------------------------------

原来外包给chinacache做内容发布,现在sina 开始自己做了,主要基于f5的产品广域负载均衡和局域负载均衡.也就是兼容机+f5的流量优化软件

返回页首


colddawn



注册时间: 2004-09-26
文章: 26

发表于: Tue 2004-12-21 22:36:36 发表主题:

--------------------------------------------------------------------------------

yarshure 写到:
去chedong.com看看吧,很详细的!
colddawn 写到:
比起这篇文章，chinaunix.net的牛人们的分析更为透彻，不管对还是不对，这方面的东西还是非常值得讨论的。



chedong.com我似乎也没看到关于这方面的资料，我说的chinaunix的文章链接在这里，估计论坛上不少人应该都看过的
http://bbs.chinaunix.net/forum/viewtopic.php?t=428204

返回页首


bantana



注册时间: 2002-09-10
文章: 337

发表于: Fri 2004-12-24 05:14:40 发表主题:

--------------------------------------------------------------------------------

国内门户基本上都用了dns轮询机制，早期apache2不稳定，大多数是apache1.3，前端使用squid做cache，没钱的时候用cacheflow，有钱了就上cdn，如果是长期需求的话，不如自己购买带宽和cdn产品到世界各地布点，这样money还掏得少点；
ps: chedong是163的吗？
_________________
What is stupid?

* God takes care of the truly stupid...
* There are no stupid questions -- just stupid people...

Send stupid comments, questions, and suggestions to me.

返回页首


xf3



注册时间: 2002-10-28
文章: 179

发表于: Fri 2004-12-24 13:09:44 发表主题:

--------------------------------------------------------------------------------

fafnir和bantana说的都差不多。基本就是这样。

返回页首


CancerMan



注册时间: 2004-02-02
文章: 851
来自: Roswell
发表于: Fri 2004-12-24 14:02:55 发表主题:

--------------------------------------------------------------------------------

bantana 写到:
国内门户基本上都用了dns轮询机制，早期apache2不稳定，大多数是apache1.3，前端使用squid做cache，没钱的时候用cacheflow，有钱了就上cdn，如果是长期需求的话，不如自己购买带宽和cdn产品到世界各地布点，这样money还掏得少点；
ps: chedong是163的吗？



据说，他只是曾经是163的
_________________
俺不会技术，只会灌水~

[qrlvls]

黑

[oyljerry]

TCP/IP是肯定需要的

[sg9527]

谢谢
总算有了一个初步的了解