微信分享 | 大规模数据中心自动化运维实践

大规模数据中心的运维实践

大家好,我是青云QingCloud 运维工程师朱峻华,在海关某单位任职数年,后又混迹多家外企,曾在IBM/EMC出现。

刚才粗略看了一下群成员,有我好几个曾经的同事,还有不少服务过的客户,群里专家多多,今天有点班门弄斧了。

我们今天分享的主题是“大型数据中心的运维实践”,算是我对自己多年工作经验的一点总结、回顾,大家一起交流,限于本人能力、精力有限,有不对的地方欢迎指正。

今天交流的内容包括:

  • 数据中心的定义

  • 数据中心的发展演进

  • 数据中心的等级划分

  • 运维的定义

  • 数据中心的运维

数据中心的定义

对于数据中心,维基百科有如下的描述:数据中心(Data Center)或称为服务器场(Server Farm),指用于安置计算机系统及相关部件的设施,例如电信和储存系统。一般它包含冗余和备用电源,冗余数据通信连接,环境控制(例如空调、灭火器)和各种安全设备。

我对数据中心做了一个简单的总结,现代数据中心一般都是一个园区,包含了若干个楼,楼里包含了若干个房间,被称为模块,这是基础;在这之上架构了复杂的网络;网络之上部署了各种硬件设备,包括服务器及网络设备;在各种设备上运行着各种软件;最终对外提供服务。

上面的简简单单的一段话,其实涵盖的技术方方面面,数据中心是现代IT系统的基石,相信以后也是整个社会正常运转的基石。

数据中心的发展演进

现在的数据中心通常是指一栋楼,或者是一个园区,包含很多个机房。但是早期的数据中心只有一个机房,而且机房里面只有一台机器,因为早期的计算机组件过于庞大,而且电缆众多。

微信分享 | 大规模数据中心自动化运维实践

这张图是世界上第一台电脑ENIAC,1946年2月14日诞生于美国宾夕法尼亚大学。在当时这就是一台电脑,一个机房,也是一个数据中心的雏形。据说ENIAC每次一开机,整个费城西区的电灯都为之黯然。

在20世纪80年代,计算机开始蓬勃发展,IT系统及其操作开始变得复杂,一些大公司开始认识到需要有意识的规划和管理IT资源。随着客户端/服务器的IT模式出现,20世纪90年代服务器开始在机房间中寻找他们的位置,通过网络电缆将服务器和网络设备进行组网,使得在公司内的一个房间中,使用分层设计来放置服务器及网络设备成为可能。

1996年8月北京电报大楼主机托管机房投入使用,是国内最早的IDC业务。

下面给大家展示几幅图片:

微信分享 | 大规模数据中心自动化运维实践

21世纪初的数据中心是如上图展示的这样的,当时更多的是被称做机房,一个大楼里面,很多个大房间,统一散热,效率低下;不同客户的服务器放在同一个机房里,没有机柜、没有锁、没有隔离,安全等级低。

微信分享 | 大规模数据中心自动化运维实践

再后来出现了如上图的机房设计,也是目前很多机房的现状。会有抬高层,下面走电缆和网线、还有散热冷风系统,在两排机柜中间会有出风口,地板上的眼就是便于出风,然后服务器吸进冷风,从后面排除,达到散热的效果;可以看到图片中远处是有门的,可以达到一定的封闭效果,提高散热效率,但是机柜顶部并没有封闭;另外,上面图中的机柜没有门及机柜锁,安全会稍差一些。

微信分享 | 大规模数据中心自动化运维实践

微信分享 | 大规模数据中心自动化运维实践

还有上两图的这种设计,机房有抬高层,散热系统在下面;每个机柜都是封闭的,有自己的门和锁,安全性高;机柜的冷风通过通道直接进入机柜中,而且可以单独开关(如上图红线标示处),不仅节能而且散热效果好,但是上半部分设备的散热效果可能会差一些。

微信分享 | 大规模数据中心自动化运维实践

现在新的机房很多采用微模块化设计,这种设计降低了对机房本身的要求,不需要抬高层,封闭的散热系统,规范化的走线槽,将节能、美观、高效有机的结合起来。

数据中心的等级划分

目前比较流行的数据中心等级划分是根据美国ANSI&TIA-942数据中心通讯网络基础设施标准设定的,分为如下4个等级:

  • 等级 Tier I ――基本数据中心

  • 等级 Tier II ――基础设施部件冗余

  • 等级 Tier III ――基础设施同时可维修

  • 等级 Tier IV ――基础设施故障容错

其中 Tier IV等级最高,不管是国内还是国外,这种等级的数据中心都不多,目前国内大部分数据中心都是 Tier III 的。不同等级的具体区分,咱们在这里不赘述,有兴趣的朋友可以上网查一下。

运维的定义

运维的定义,我在维基百科并没有找到,不知道这个是太容易理解了,还是太难于定义了。

我不敢妄加定义运维,只是说说我自己的理解。我曾经认为,运维更多的算是产品或者一个系统交付生产后,到这个产品/系统的生命周期结束前这段时间所做的工作。但是现在IT行业发展的趋势及DevOps的流行,对运维人员的要求越来越高,需要更早的参与到整个生命周期里去。

以数据中心的运维举例,运维人员可能需要从数据中心选型就参与进来,包括选址,选择网络提供商,考察数据中心各种设施及服务等,而不是说等这些定了之后,上了生产才开始运维。

另外,我需要明确一点,今天我们谈到数据中心的运维,并不是简单的从数据中心提供商角度出发,还包括数据中心使用者的角度。青云QingCloud目前使用了多家数据中心的服务,我们也在考察、建立自己的数据中心。

数据中心的运维

现在正式进入今天的主题——数据中心的运维。

数据中心的”风火水电“

说到数据中心的运维,经常会提到“风火水电”。

  • 风,通常指空调制冷及通风过滤系统。干净的空气能延长设备的寿命,减少故障率。不考虑报废时间,同样的机器在北京运行和在芬兰运行,寿命和故障率都会有很大差异。

  • 火,一般指消防。这个是常常被人忽略的一部分,但也经常是最致命的一部分,一旦发生火灾,可能整个地方都需要停电,且短时间内难以恢复。

  • 水,通常是湿度及防潮。湿度过高,可能会影响设备寿命;太过干燥又会导致静电,有可能损坏设备。

  • 电,机房电力。电力被认为传统数据中心的重中之重,没有电力,数据中心就是空壳,而且数据中心的电力需要保证稳定,且是多路备份。

上面提到了“风火水电”,实还应该再加上一个“网”,数据中心必须保证有高效的网络,,离骨干网应该尽量的近,而且需要能提供BGP线路服务,这也是很多客户选择数据中心的一个重要评判标准。

数据中心的选择

数据中心的选择标准可以归类到下面三点:位置,主要标准和次要标准。我们提到的标准是站在不同角色进行考虑,包括数据中心建造者与使用者。

  • 位置,包括数据中心所在的城市及区域,这将直接影响到预算,至少要避免受到天津大爆炸那类事故的影响;还会影响到你是否能招到合适的员工;需要考虑出现故障时的响应速度等。

  • 主要标准,包括是否有足够的空间满足未来的发展;稳定且廉价的电力保障;是否有能用环保手段做到廉价的散热系统,比如选择北方,一年四季大部分时间采用自然冷风进行散热;还需要有高效的网络连通性。

  • 次要标准,包括基础设施,如照明、管道工程等;还包括数据中心园区的安全隔离设施,围墙、门、窗,设备卸货区等;推车、铲车等设备;是否有设备预装室;是否有监控、控制中心;其他杂项,包括安全监控摄像头、门禁卡、防尾随门等;

生产运维

传统数据中心在投入生产之后,高等级机房会安排 7&24 人工巡检。客户购买的机柜及其机柜里的设备,需要自己安排人员巡检,我曾经工作过的一家公司就有三班倒的监控人员,7*24小时待命,每个小时需要去机房巡检一次,看各个设备是否有报警。

青云QingCloud正在考虑建立自己的数据中心,因此考虑运维的时候会更加全面,除了传统数据中心的楼宇及基础设施的运维,还包括各种物理设备,如服务器、网络设备等,各种操作系统及软件,还有我们自己研发的SDN,每一项细化都可以作为一个专题来讨论。

我们简单了解一下数据中心基础设施运维可能涉及的范围,包括:

  • 安防系统,园区楼宇的安全防护,门禁系统,监控系统等;

  • 消防系统,烟雾探测器,灭火设施等;

  • 环境检测,如温度及湿度等;

  • 供电设施,包括配电设备,发电机、UPS、机柜PDU等;

  • 散热系统,包括空调设备,新风及冷水机组等;

  • 其他杂项,如布线,包括电缆及网络线缆;机房内部环境,是否有易燃易爆物体,需要及时清理。

站在一个数据中心使用者的角度,我们希望数据中心能提供更高效的服务,如:

  • 高效的入馆申请系统,包括人员和设备;

  • 高效的卸货渠道及方便的预装室;

  • 在认证通过的情况下,可以自由高效的进出机房,操作属于自己的设备;

  • 数据中心的服务人员能高效的提供客户所需的数据及服务,比如机柜用电量等;

  • 提供更多人性化及专业化的服务;

下面我们来讨论一下用户对于自己设备及服务的运维。

服务器及网络设备的选型,是选用大品牌的DELL/IBM服务器呢,还是选择更节省成本的定制机?

QingCloud 选择了后者,在云计算时代,我们假设服务器等物理设备本身就是不可靠的,需要靠上层的软件来实现可靠。

操作系统选型,选择Linux还是Windows ?

毋庸置疑,QingCloud 的系统肯定是跑在Linux上,但是我们需要考虑如何高效初始化服务器,快速安装操作系统,需要考虑文件系统、内核参数调优、各种硬盘驱动、内核版本、Kernel Panic等原因。应用层涉及的就更多了。

如何高效的初始化系统

如何高效的初始化系统?包括 BIOS 的调优,划分RAID等工作。

对于Linux系统的安装有很多高效的方式,最初始的方案是把Linux安装盘ISO刻成一张光盘进行安装,现在的服务器配光驱那肯定是被忽悠了;后来将ISO做到U盘上,这些都是手动安装。高级一点的可以写Kickstart/Preseed文件实现U盘的自动安装,对于少量设备,这已经足以。

对于大规模的部署,我们目前通过网络自动划分RAID,安装操作系统,还可以做到自动进行BIOS调优。

我们的目标是一台纯新的机器,物理连线都准备好的情况下,开机半小时后就可以被用于生产,包括BIOS调优,RAID划分,操作系统安装,网络联通及系统上应用的安装。操作系统的安装可以采用网络PXE安装,开源比较常用的可以采用Cobbler;对于RAID划分和BIOS调优,这里我不做过多说明,不同厂家的硬件使用的方法都会不同。

操作系统及网络准备好之后,我们就需要在服务器上配置特定的应用及服务了。这时候我们可以使用的工具更多,此类工具通常被称为配置管理工具,常用的有老牌的Cfengine,很多大公司在用的Puppet和Chef,最近比较新的有Saltstack和Ansible等,这些都是很好的工具,但对于工程师来说合适的/熟悉的才是最好的。

自动化运维

上面提到的更偏重于产品生命周期的前半部分。随着规模的扩大,传统靠人工定时巡检,在监控中心盯着大屏幕看有无报警的运维方式都已经落伍,唯一的出路就是自动化。

运维自动化,这个话题是从互联网繁荣开始一直在谈论的话题,数据中心的运维工作变得越来越繁重与复杂,这是因为数据中心一直在持续的发展变化,数据中心承载的应用变得多而复杂,简单靠人力堆积已经不能高效解决问题,必须引入各种流程及工具进行规范化管理。

自动化运维很重要的一部分就是完善的监控体系,完善的监控体系需要能监控到整个数据中心的方方面面,包括各种物理设施、环境等,这个不是我们今天讨论的重点,今天主要讨论一下网络、系统等部分的监控。

监控可能包含的方面:

  • 攻击,包括内部和外部,需要能快速的找到源头并消除威胁;

  • 网络和服务器设备的各个传感器,包括温度、电压及电源冗余等;

  • 网络流量、网络风暴,及网络环路等的监控;

  • 服务器的监控通常可以通过带外及IPMI获取到服务器的物理设备的状态,需要监控的包括CPU、内存、主板、电源;

  • 服务器的存储系统,包括物理磁盘、RAID组、RAID卡电池的状态、Media Error等信息;LSI的RAID卡可以通过MegaCli进行查看,Adaptec的卡可以用Arcconf工具;

  • 操作系统里,我们需要监控的东西更多,包括系统资源(CPU、内存、文件系统空间的Inode使用率,还包括网络流量和系统负载等等);进程及服务的监控;存储系统监控(吞吐量及IOPS等);系统及应用日志的监控

有了完善的监控系统,我们还需要实时报警(邮件、IM、短信)功能,不能漏报,也不能太多误报,否则狼来了多次后,就没人会重视报警信息,反而无用。

目前,开源使用比较多的监控软件有Nagios、Cacti、Ganglia、Zabbix、Zenoss Core、SmokePing,每个软件有自己的擅长之处,大家可以使用多个软件组合成自己完善的监控体系。

有了监控,有了报警,我们还需要资源使用的统计报告(日报、月报、波峰、波谷),这将是我们系统扩容的依据。

设备退役

下面我们聊聊设备的退役,服务器或者网络设备运行一段时间后,故障率就会大幅的升高,我们需要考虑是不是要将其退役。

首先我们需要设定一个设备的报废期限,及报废后怎么处理;需要考虑在什么情况下延保,计算出最佳时间点,尽量榨干设备的价值。

一个小的细节,QingCloud考虑到用户数据的安全性,我们的硬盘买了特定服务(不归还的),损坏的硬盘跟厂家报修更换后,我们会集中销毁换下来的硬盘。

最后

在结束分享前,我们再来看看目前数据中心相关的一些新动向。

群里很多人应该听过流动数据中心或移动数据中心、模块化数据中心、微模块化数据中心、海上数据中心、洞穴式数据中心等。它们的好处是显而易见的,比如洞穴式数据中心,可以抵御爆炸或自然灾难性事件,还能够节省制冷能耗,不受高功率微波和电磁脉冲武器的攻击等。

网络方面,100G以太网不久将会在数据中心领域强势增长,当然这会有个过程,可能25G和50G的网络会优先发展,25Gbps和50Gbps每通道技术将是未来100Gbps(4个25G) 和400G(8个50G)以太网的基础,因此业界普遍认为25G网络会很快替代现有的10G网络。

今天的分享差不多就到此为止了,做一个简单的总结。

数据中心的运维既宏观又细节,大到楼宇的设计建造及选址,避免被天津大爆炸这样的事件波及;小到需要注意服务器内线缆摆放位置及方向,防止服务器由于自身的轻微震动导致线缆松动,从而引起系统的频繁Kernel Panic。

相关推荐