从零搭建一个自动化运维体系

作者简介：

胥峰，著有畅销书《Linux运维最佳实践》、译著《DevOps：软件架构师行动指南》，资深运维专家，有 11 年运维经验，在业界颇具威望和影响力。2006 年毕业于南京大学，曾就职于盛大游戏等大型知名互联网公司，现就职于Garena Singapore 。拥有工信部认证高级信息系统项目管理师资格。

对自动化运维体系的需求，是随着业务的增长、对运维效率和质量的要求不断提高而产生的。

前言：

在很多初创公司和中小型企业里，运维还停留在“刀耕火种”的原始状态，这里所说的“刀”和“火”就是运维人员的远程客户端，例如SecureCRT和Windows远程桌面。

在这种工作方式下，服务器的安装、初始化，软件部署、服务发布和监控都是通过手动方式来完成的，需要运维人员登录到服务器上，一台一台去管理和维护。这种非并发的线性工作方式是制约效率的最大障碍。

同时，因为手动的操作方式过于依赖运维人员的执行顺序和操作步骤，稍有不慎即可能导致服务器配置不一致，也就是同一组服务器的配置上出现差异。有时候，这种差异是很难直接检查出来的，例如在一个负载均衡组里面个别服务器的异常就很难发现。

随着业务的发展，服务器数量越来越多，运维人员开始转向使用脚本和批量管理工具。脚本和批量管理工具与“刀耕火种”的工作方式相比，确实提升了效率和工程质量。

但这个方式仍然有很多问题。

• 第一是脚本的非标准化的问题。不同运维人员写的脚本在所用的编程语言、编码风格和健壮性方面存在巨大差异，同时这些脚本的版本管理也是一个挑战。

• 第二是脚本的传承问题，人员的离职和工作交接，都会导致脚本无法很好地在运维人员之间传承和再利用，因为下一个运维人员可能无法理解和修改前一个运维人员编写的脚本功能。

• 第三是批量管理工具的选择。不同的管理人员选择不同的批量管理工具必然会带来管理混乱的问题，也无法很好地实现在运维人员之间互相备份工作的需求。

因此，对构建自动化运维体系的要求变得越来越迫切。通过自动化运维体系来实现标准化和提高工程效率，是唯一正确的选择。那么如何建设自动化运维体系呢？

本案例研究分为三个大的方面：

• 第一个是为什么要建设自动化运维体系，就是解决“3W”中的Why和What的问题，即为什么和是什么。

• 第二个是介绍我司各个运维子系统是怎样设计、运行和处理问题的，解决“3W”中的How的问题，也就是怎样去做的。

• 第三个是对我司在自动化运维过程中遇到的一些问题的思考，做一个总结。

一、建设自动化运维体系的原因

先来看一下我们为什么要建设一个自动化运维体系。首先来看运维遇到的一些挑战，如下图所示。

运维面对的挑战

第一个是游戏的需求。它表现为三个方面:

• 一是游戏数量多，我司现在运营的游戏多达近百款。