微软一个隐藏长达四个月的系统漏洞,在上周引发了一场波及全球的服务中断事故,暴露出高度依赖单一科技供应商的潜在风险。
此次事故始于11月11日的一次例行流量调配操作,直至次日上午11时30分——即美国企业流量高峰期——微软才意识到问题的严重性。
此后,公司又耗费约15小时排查故障并着手部署修复方案,导致众多企业和政府客户工作陷入停滞。在事故最严重时段,Outlook后台超过80%的服务器处于无响应状态,Teams视频会议邀请消失,员工不得不转而依赖电话和纸笔维持工作。
微软负责职场软件业务的执行副总裁Charles Lamanna周一在X平台发文,就此次宕机事件正式道歉。截至发稿,微软周一盘中下跌1.2%。
一次例行操作,引爆连锁崩溃
据微软向客户发布的初步报告,该漏洞早在今年7月便已潜伏于公司数据中心,却始终未被发现。
事故导火索是11月11日纽约时间晚8时许的一次自动流量切换操作:Teams视频会议与即时通讯服务的流量被自动转移至同时承载Outlook流量的另一组服务器。
与此同时,本周早些时候一个独立问题已造成部分服务器容量损失,双重压力之下触发了上述潜伏漏洞——服务器在流量骤增后出现内存耗尽。
问题随之迅速蔓延。微软的自动化容灾系统将流量和邮件转移至其判断为"健康"的其他服务器,却将同一漏洞带入这些系统,形成连锁失效。
从最初出现零散故障,到微软确认全面问题,历时约15小时;公司随后又花费约15小时才开始推送修复方案。
自动化系统"帮倒忙",修复工作一波三折
此次宕机持续时间之长,远超同类事故的通常水平——同类事故往往仅持续数小时。
微软面向使用Microsoft 365产品的技术人员发布的详细时间线显示,公司原本旨在维持服务稳定运行的自动化机制,反而加速了此次连锁崩溃。
恢复上线的服务器因积压的待处理流量蜂拥而至,再度过载失效,使修复进程陷入循环。
此外,由于该漏洞已在系统中潜伏数月,通过回滚近期更新来稳定系统的常规手段也宣告无效,进一步拖延了恢复进程。
实验室测试未能模拟真实环境
Charles Lamanna解释了漏洞得以长期潜伏、未被测试流程发现的原因。
微软在向外部大规模部署系统变更前,会先在实验室环境及小范围网络中进行测试,这是大型互联网服务公司的标准操作流程。
然而此次漏洞未能被拦截,原因在于实验室中模拟的流量模式和硬件配置,与服务器在真实环境中所遭遇的条件存在差异。
Lamanna指出,微软的测试通常侧重于配置较旧、性能较弱的系统,以评估更新是否会拖垮整体架构中的薄弱环节。而此次导致服务器宕机的漏洞,在处理能力更强的新型硬件上破坏力反而更大——恰恰是测试所忽视的场景。
