Posted in 安全

传统运维|一次操作系统打补丁引起的飞来横祸

 2019年12月3日
2019年02月XX日，接到客户通知，客户某rac二节点操作系统有漏洞，需要打补丁进行修复，届时IBM工程师会现场进行漏洞修复，需要我这边一同进行现场保障。于是第二天开心的去客户现场保（hua）障（shui）了。

由于是11g rac架构，应用端连接是scan-ip，所以二节点的短暂停机并不会影响业务的正常运行。配合小机工程师，将二节点的数据库和集群统统停掉，接下来就是小机工程师的舞台了。事故就是从这里悄悄开始了。

2小时过去了，小机工程师在聚精会神敲代码。。。

4小时过去了，小机工程师擦了擦额头的汗，继续聚精会神敲代码。。。

6小时过去了，小机工程师抬头望了小编我一眼，缓缓说道：由于*&￥%#@&%￥…..，操作系统可能要重装了。。。我再最后试一把。。。

小编我：！！！

本来简简单单的保障现在变得一点都不简简单单。小机工程师最终还是把操作系统重装了，故障处理从这里拉开帷幕。

由于二节点操作系统被重装，需要添加节点。

首先，确认一二节点操作系统版本和数据库版本。

其次，确认两边操作系统版本一致。

然后给一节点grid用户添加节点，语句如下：

然而，这里居然报错了！！！（小编流泪）

怎么回事呢？不要慌，啊！原来是集群里面还记录着一二节点的信息，还没有意识到二节点被干掉了，这里我们将二节点的信息从集群信息中清除掉，命令如下：

再次重新添加节点，命令如下：

成功啦！

接下来装数据库软件，命令如下：

最后一步添加实例：

有惊无险，至此二节点已添加完成啦！

最后给大家一点建议：

不管是操作系统打补丁，还是数据库软件打补丁，在打补丁前一定要做好备份！有回退措施的话也一定要确保回退方案有效可行。小编的前车之鉴，大家一定不要再犯哦。

美创运维中心数据库服务团队拥有Oracle ACE 1人、OCM 10余人、数十名Oracle OCP、MySQL OCP、红帽RHCA、中间件weblogic、tuxedo认证、达梦工程师 ，著有《Oracle DBA实战攻略》，《Oracle数据库性能优化方法和最佳实践》，《Oracle内核技术揭秘》等多本数据运维优化书籍。目前运维各类数据库合计2000余套，精通Oracle、MySQL、SQLServer、DB2、PostgreSQL、达梦等主流商业和开源数据库。并成为首批国内达梦战略合作伙伴之一，拥有海量经验和完善的人员培养体系。并同时提供超融合，私有云整体解决方案。