专职DBA来说一说如何做到sqlserver数据库服务器自动化管理和监控

[专注or全面]

sqlserver如果自动化管理，监控的思路是如何实现的
如何管理数百台sqlserver服务器以及做到高可用
同时要以某种简便快捷的方式实现管理和监控

主要是从哪些方面来管理，监控
比如说道CPU高，或者是IO繁忙的时候
面试官意思是从服务进程入手
个人感觉不知道如何从进程入手
总之他是一种宏观的角度是看待（管理，监控）服务器，
给我的感觉是：把服务器当做是一个黑盒，只保证服务器内存够，磁盘够，网络畅通这些方面说
想想也是，面对数百台服务器，管理员肯定不会去关注一些太细节的东西
不会说某个sql写的好不好，某个查询性能怎么怎么样，这样肯定会累死的
只要保证整体上的稳定即可
但是面对突发故障，最最直接的问题不外乎“应用程序端反馈数据库慢”，如何做到快速定位？

坛子里专职的DBA来说说，
1，你们管理了多少台数据库服务器，
2，如何做管理，监控的，自动化管理时如何实现的
3，如何快速定位故障，比如说某个服务器慢
知无不言言无不尽，谢谢

[nettman]

感谢楼主分享

[唐诗三百首]

多SQL Server服务器管理推荐用Management Data Warehouse. 参考 http://msdn.microsoft.com/en-us/library/bb677306.aspx

[LongRui888]

引用 33 楼 x_wy46 的回复:

[quote=引用 25 楼 dotnetstudio 的回复:] 企鹅面试就是喜欢搞些高大上的东西吓唬人，所以在小公司混了去面试企鹅都很难，因为平时自己公司用的东西都不怎么样，除非是那种初创的有海归经验的人回国开的公司，那还差不多。

失败是失败了，但是人家没咋为难咱，因为我没瞎说，不懂得就说不了解，知道的就说一下 其实也没那么严肃，两个哥们，其中一个问的比较多，比较严肃， 另外一个人在第一个人问的有些扯淡问题的时候，一边拍着比较严肃的面试官的肩膀，一边使劲地咧着嘴笑 意思是扯淡的问题就别多问了， 确实没这方面的经验，所以也没啥遗憾的。[/quote] 这方面，你可以参考一下 淘宝他们技术人员发的博客，我记得去年我看了一本 mysql的书，里面就专门讲到了，自动化监控的方法，作者是：简朝阳 你可以参考一下这本书，虽然书是多年前的了，不过里面也讲到使用第三方软件、开源软件，来监控几百台mysql集群

[LongRui888]

引用 33 楼 x_wy46 的回复:

[quote=引用 25 楼 dotnetstudio 的回复:] 企鹅面试就是喜欢搞些高大上的东西吓唬人，所以在小公司混了去面试企鹅都很难，因为平时自己公司用的东西都不怎么样，除非是那种初创的有海归经验的人回国开的公司，那还差不多。

失败是失败了，但是人家没咋为难咱，因为我没瞎说，不懂得就说不了解，知道的就说一下 其实也没那么严肃，两个哥们，其中一个问的比较多，比较严肃， 另外一个人在第一个人问的有些扯淡问题的时候，一边拍着比较严肃的面试官的肩膀，一边使劲地咧着嘴笑 意思是扯淡的问题就别多问了， 确实没这方面的经验，所以也没啥遗憾的。[/quote] 看看这个博客： 简朝阳，在阿里最早一批使用mysql，建立了mysql集群，相应的对几百台服务器进行监控，肯定也是自动化的，不然就累死了。 他的书《MySQL性能调优与架构设计》，你可以下载电子书看看的。 http://isky000.com/

[专注or全面]

引用 46 楼 yupeigu 的回复:

感谢，有时间去看看， 最近也看了一些先关的资料，这里的博文介绍的很全面也很系统，感觉是实战系统的， 这方面的只是凭空想象很难建立起知识体系的 http://www.cnblogs.com/seusoftware/category/500793.html 最近想了很多，总是想着把什么什么弄会了再去工作，其实这本身就像“不会耕田怎么下地，与不去下地怎会耕田”一样 哎……

[GW786228836]

[LongRui888]

引用 48 楼 x_wy46 的回复:

[quote=引用 46 楼 yupeigu 的回复:]

感谢，有时间去看看， 最近也看了一些先关的资料，这里的博文介绍的很全面也很系统，感觉是实战系统的， 这方面的只是凭空想象很难建立起知识体系的 http://www.cnblogs.com/seusoftware/category/500793.html 最近想了很多，总是想着把什么什么弄会了再去工作，其实这本身就像“不会耕田怎么下地，与不去下地怎会耕田”一样 哎……[/quote] 深有同感，是先学会了在找工作，还是先找工作然后再学会。 还是那个鸡和蛋哪个先有的问题。 其实总体上还是的先学习，然后再找工作。 比如：你上面提到的问题，如何监控上百台机器，其实腾讯的人一开始肯定也不知道如何监控，淘宝的人也不知道如何监控，那么怎么办呢？ 看看国外是否有类似的软件，最好是开源的软件，如果有直接拿来就用，慢慢用着不合适，于是就开始修改源代码，或者新增一些功能，中国的公司其实都是一样的，基本上都是拿来主义嘛，先拿来用用再说，现在主流的技术，比如大数据方面的技术，基本上都是国外的公司，比如google等开发的。 当然，也有人非常有时间，自己写了一个监控工具，而且都是图形化界面，非常专业，确实也有，这种就是开发一个软件来做了，也不是难事，无非就是客户端和服务器端，客户端安装在被监控的服务器上，服务器端安装在一台服务器上，通过网络socket发送信息到服务器端，当然这之间应该会有信息的加密和解密的过程，来保证信息安全，同时服务器端，也可以把手机的信息存储到数据库，这样便于历史趋势的分析，而客户端就是一个接受服务器端命令，然后执行命令，收集信息发送给服务器端，然后服务器端最后还的现实这些信息，比如通过图形化的方式，来现实，类似于报表吧，你可以选择查看top10的机器，也可以查看每个机器的cpu，或者是某一段时间内，某个机器的磁盘空间的增长量，或者是日志增长量等等，可以做个折线，甚至还可以自动发出警报，比如，某个机器的磁盘空间达到了预先设置的临界值，提醒需要新增磁盘空间。 我觉得，如果你有比较多的空余时间，可以一个一个来学习实践，管理3台服务器，和300台服务器，如果都采用自动化的方式，那么区别是很小的。 如果用3年时间，好好专研，你完全能成为某个领域的专家，这个好像是很有名的一句话，送给你，祝你学有所成！

[Neo_whl]

引用

感谢，有时间去看看， 最近也看了一些先关的资料，这里的博文介绍的很全面也很系统，感觉是实战系统的， 这方面的只是凭空想象很难建立起知识体系的 http://www.cnblogs.com/seusoftware/category/500793.html 最近想了很多，总是想着把什么什么弄会了再去工作，其实这本身就像“不会耕田怎么下地，与不去下地怎会耕田”一样 哎…… 深有同感，是先学会了在找工作，还是先找工作然后再学会。 还是那个鸡和蛋哪个先有的问题。 其实总体上还是的先学习，然后再找工作。 比如：你上面提到的问题，如何监控上百台机器，其实腾讯的人一开始肯定也不知道如何监控，淘宝的人也不知道如何监控，那么怎么办呢？ 看看国外是否有类似的软件，最好是开源的软件，如果有直接拿来就用，慢慢用着不合适，于是就开始修改源代码，或者新增一些功能，中国的公司其实都是一样的，基本上都是拿来主义嘛，先拿来用用再说，现在主流的技术，比如大数据方面的技术，基本上都是国外的公司，比如google等开发的。 当然，也有人非常有时间，自己写了一个监控工具，而且都是图形化界面，非常专业，确实也有，这种就是开发一个软件来做了，也不是难事，无非就是客户端和服务器端，客户端安装在被监控的服务器上，服务器端安装在一台服务器上，通过网络socket发送信息到服务器端，当然这之间应该会有信息的加密和解密的过程，来保证信息安全，同时服务器端，也可以把手机的信息存储到数据库，这样便于历史趋势的分析，而客户端就是一个接受服务器端命令，然后执行命令，收集信息发送给服务器端，然后服务器端最后还的现实这些信息，比如通过图形化的方式，来现实，类似于报表吧，你可以选择查看top10的机器，也可以查看每个机器的cpu，或者是某一段时间内，某个机器的磁盘空间的增长量，或者是日志增长量等等，可以做个折线，甚至还可以自动发出警报，比如，某个机器的磁盘空间达到了预先设置的临界值，提醒需要新增磁盘空间。 我觉得，如果你有比较多的空余时间，可以一个一个来学习实践，管理3台服务器，和300台服务器，如果都采用自动化的方式，那么区别是很小的。 如果用3年时间，好好专研，你完全能成为某个领域的专家，这个好像是很有名的一句话，送给你，祝你学有所成！

好强！

[qq_21976133]

发帖股uyy

[小笨和漂向北方]

引用 28 楼 fredrickhu 的回复:

现在虚拟化确实是一个比较好的解决方案。ESX服务器，vCENTER这些东西。看起来还不错

could you please elaborate the benefits of applying virtualization on SQLServer database, single instance/cluster? how about the complication? For example, the classic NUMA issue, VM has it disabled. However, the underlying hypervisor has it activated. In this case, unless the vCPU has pinning configured (all cores on a single physical socket, say 2 sockets per server), NUMA actually has impact on the performance of SQLServer on the VM?

[撸大湿]

只要能解决无缝实例转移，其他都不是难事～～

[那一抹斜阳]

我是来看回复的，so，应该知道我是来干什么的吧，哈哈，学习了

[www85917103]

看不懂。呵呵

[桂圆214]

看起来好牛叉的样子

[iqlife]

对于windows 不太熟悉，oracle等有专门的GRID CONTROL产品,可以管理大量的主机，OS和DB，以及磁盘，内存等 在linux下有开源的nagios，puppet，。。。管理其来也挺方便的，好像可以管理windows，sqlserver肯定也能管理

[s700k]

太高大上了，感觉云里雾里

[starseeker7]

我们公司大概有300台MSSQL服务器 管理方式是自己写软件做监控，出现异常邮件警告 这个监控是一个模块化的工具，只要会SQL就能做2次开发产生新的监控模块， 目前这个监控软件已有55随时运行的模块 但是因为是自己开发的比较简陋，纯SQL记录数据，没有图形化效果，不过因为公司有8个DBA，大家SQL都还不错，用得挺好。一般是发现什么可能导致问题得东西了，就去建立一个监控，检查相关数据，做警告邮件提醒。 当然比较特殊得监控还是需要单独开发 目前没做并发安装得的东西，都是自己装，因为公司添加服务器数量不会太快，做多一次20台左右，还是人力能承受范围 当然写这就要求公司里有个DBA具有开发功能(比如我^^)

[专注or全面]

引用 59 楼 starseeker7 的回复:

我们公司大概有300台MSSQL服务器 管理方式是自己写软件做监控，出现异常邮件警告 这个监控是一个模块化的工具，只要会SQL就能做2次开发产生新的监控模块， 目前这个监控软件已有55随时运行的模块 但是因为是自己开发的比较简陋，纯SQL记录数据，没有图形化效果，不过因为公司有8个DBA，大家SQL都还不错，用得挺好。一般是发现什么可能导致问题得东西了，就去建立一个监控，检查相关数据，做警告邮件提醒。 当然比较特殊得监控还是需要单独开发 目前没做并发安装得的东西，都是自己装，因为公司添加服务器数量不会太快，做多一次20台左右，还是人力能承受范围 当然写这就要求公司里有个DBA具有开发功能(比如我^^)

牛叉叉，高可用是怎么实现的?

[starseeker7]

高可用部分用得不多，也就是少量的logshiping+镜像（极少的） 因为公司业务数据更新非常快，full模式的DB很少，都是用第三放软件备份，数据丢失一般控制在数小时内，核心数据都会写log到专门的historyDB，数据丢失不是问题 不过因为公司的DB是通过业务上划分群集，qryDB部分通过负载均衡硬件做压力切换，群集中的任意DOWN掉也不会影响服务 群集之间用SSB/replication/DataCatch(最后这个是开发APP)实现数据交互 当然这样构架会使得核心服务器，跨库交流服务器压力很大，这些服务器上都会很好硬件配置。 后期业务增加处理办法则是业务切割，将数据挖掘，BI等业务放到hadoop之类的群集中，毕竟MSSQL的大数据部分还是不能打啊 图片服务器什么的都是外包到第三方 可以看出我们公司因为开发团队庞大- -很多东西都是各种自己开发or自己山寨，才能这么干就是了。目测各地开发加起来有700-800人吧

[数据兵法]

不明觉厉！请继续.....