2019年02月XX日,接到客户通知,客户某rac二节点操作系统有漏洞,需要打补丁进行修复,届时IBM工程师会现场进行漏洞修复,需要我这边一同进行现场保障。于是第二天开心的去客户现场保(hua)障(shui)了。
由于是11g rac架构,应用端连接是scan-ip,所以二节点的短暂停机并不会影响业务的正常运行。配合小机工程师,将二节点的数据库和集群统统停掉,接下来就是小机工程师的舞台了。事故就是从这里悄悄开始了。2小时过去了,小机工程师在聚精会神敲代码。。。
4小时过去了,小机工程师擦了擦额头的汗,继续聚精会神敲代码。。。
6小时过去了,小机工程师抬头望了小编我一眼,缓缓说道:由于*&¥%#@&%¥…..,操作系统可能要重装了。。。我再最后试一把。。。
小编我:!!!本来简简单单的保障现在变得一点都不简简单单。小机工程师最终还是把操作系统重装了,故障处理从这里拉开帷幕。
由于二节点操作系统被重装,需要添加节点。
首先,确认一二节点操作系统版本和数据库版本。
其次,确认两边操作系统版本一致。
然后给一节点grid用户添加节点,语句如下:
怎么回事呢?不要慌,啊!原来是集群里面还记录着一二节点的信息,还没有意识到二节点被干掉了,这里我们将二节点的信息从集群信息中清除掉,命令如下:
不管是操作系统打补丁,还是数据库软件打补丁,在打补丁前一定要做好备份!有回退措施的话也一定要确保回退方案有效可行。小编的前车之鉴,大家一定不要再犯哦。
美创运维中心数据库服务团队拥有Oracle ACE 1人、OCM 10余人、数十名Oracle OCP、MySQL OCP、红帽RHCA、中间件weblogic、tuxedo认证、达梦工程师 ,著有《Oracle DBA实战攻略》,《Oracle数据库性能优化方法和最佳实践》,《Oracle内核技术揭秘》等多本数据运维优化书籍。目前运维各类数据库合计2000余套,精通Oracle、MySQL、SQLServer、DB2、PostgreSQL、达梦等主流商业和开源数据库。并成为首批国内达梦战略合作伙伴之一,拥有海量经验和完善的人员培养体系。并同时提供超融合,私有云整体解决方案。