过去一周接连发生的多起重大宕机事件,似乎都遵循着相似的剧本:服务中断、Downdetector网站流量暴增、服务商发布一连串状态更新、几天后公布根本原因,然后大家又恢复工作,以为不会再发生。而刚刚过去的这一周,这个剧本几乎是在超速运转。
11月12日:微软公司的365套件遭遇近24小时的全球性宕机,导致Outlook、Exchange Online、Teams、Copilot、Defender和Intune在74个国家和地区无法使用。微软将此次故障追溯至7月在其网络网关服务器上引入的一个软件漏洞,当本应遏制区域性问题的防护机制失效后,该漏洞便在全球范围内连锁蔓延。
11月13日:Workday公司发生重大宕机,影响超过1万家企业,原因是其灾难恢复(DR)环境与生产数据库之间出现了非预期的连接。
11月13日:美国联邦航空管理局因一次电信故障影响其空中交通管制中心,发布了罕见的全国性地面停飞令。当天航空公司取消了12462个航班,交通部长肖恩·达菲表示,路由器因数据过载导致信息不一致。
11月16日:美联航因全公司范围的宕机导致飞行员无法获取最终飞机重量等必要数据,被迫推迟航班起飞。
11月16日:摩根大通客户当天大部分时间无法登录或转账,该银行将原因归结为其本地硬件系统中的一个软件漏洞。此次故障影响了Zelle转账服务,以及与大通银行有业务往来的其他银行客户。
11月17日:苹果公司报告iCloud、Apple Pay、App Store等服务出现宕机,一位发言人将原因归结为一次内部更新。
这些事件无一是网络攻击,而且就目前所知,彼此之间也并无关联。一个潜伏的漏洞、过载的老旧路由器、一次糟糕的内部更新、一次本地硬件故障——这些根本原因几乎是天差地别。其中一些系统运行在公共云上,一些运行在企业自有数据中心,还有一些运行在已有数十年历史的空中交通管制设备上。而这正是问题的关键所在。共同点并不在于技术本身,而在于每家机构都遭遇了某个关键依赖的失效,业务也随之停摆。
这正是我希望企业领导者汲取的教训。宕机并非事后才需要解释的罕见事件,而是必须提前规划应对的必然事件,而且规划必须解决整个服务彻底失效时该怎么办,而不仅仅是某台服务器或某个数据中心出问题的情况。
韧性需要融入企业的运营肌理
我想深入探讨真正的韧性是什么样子,而Zscaler公司恰好是一个颇具参考价值的案例,原因很具体。当企业部署Zscaler后,每一位用户、每个分支机构和每台设备都要通过其零信任交换(Zero Trust Exchange)来连接应用。这使得Zscaler恰好处于业务的关键路径之上:如果它宕机,用户将无法访问Microsoft 365、Salesforce、内部应用或其他任何系统,无论这些应用本身是否健康运行。这种“全有或全无”的风险暴露,迫使Zscaler比大多数公司更深入地思考,一旦自身服务失效该如何应对。
在上一届Zscaler用户大会Zenith Live上,我向该公司首席执行官贾伊·乔德里问及此事,他解释说,正是因为其服务具有极其关键的属性,公司无法承受任何停机,所以从服务设计之初就将韧性融入其中。在经历了这一连串宕机事件后,我要求与乔德里以及首席可靠性官米沙·库珀曼交流,为整个行业总结经验教训。
需要说明的是,Zscaler并不能让某个微软邮箱保持在线,也无法重启联邦航空管理局的路由器,该公司内部也没有人声称能做到这些。但该公司在自身平台连续性方面的做法,为任何处于企业关键路径上的服务(包括软件即服务)应如何架构提供了一个有价值的参考模型。以下是我对此给董事会和高管层带来的启示的一些思考:
云计算让我们遗忘了灾难恢复
我曾在金融服务行业工作,那里的灾难恢复站点是不容商议的,每个人都清楚哪些服务必须在故障发生时存活下来。曾在IBM公司工作多年的乔德里也表达了同样的观点。
“我的许多大客户以前都有一个生产数据中心和一个灾难恢复数据中心,”他告诉我。“如果生产数据中心出故障,他们就会切换到灾难恢复中心,这曾是标准做法。但当整个行业转向云计算后,大家就把这事忘了,以为灾难恢复是云服务商的责任,尽管实际上这是一种共担责任。”
他说得没错,而这一连串事件也证明了这一点。可用区和多区域设计能够防范硬件故障和局部性事件,但它们往往共享软件、控制平面、配置流水线,甚至通常还共享DNS。一旦出现错误配置或潜伏漏洞并发生传播,就会蔓延到各处——微软的情况正是如此。
可用性架构和韧性架构并不是一回事。前者是在某个组件失效时让服务保持在线;后者则是在整个服务失效时让业务继续运转。多数企业拥有的是前者,却误以为自己拥有后者,而正如我们最近所见,这种假设是错误的。
可靠性是维护,韧性是保险
在通话中,乔德里用了一个所有人都能理解的比喻:即便你拥有世界上最可靠的汽车,并严格按照保养计划维护,你仍然会为保修范围之外的其他风险购买保险,比如被盗或者被倒下的树砸到。有了保险,并知道何时及如何使用它,能帮助你迅速重新上路。而Zscaler构建的正是网络世界里的这种“保险”。
在现实世界中,人们对此心知肚明。但在网络与数字世界里,我们似乎忘记了这一点,转而依赖服务级别协议(SLA)。99.999%的正常运行时间承诺听起来很不错,但一旦将其转化为业务语言,情况就不一样了。乔德里说,Zscaler的一些大型银行客户曾告诉公司,五个九的可靠性还不够,“因为哪怕你宕机五分钟,我们都可能损失数亿美元。”
回想我做IT工作的那些年,我从来不喜欢SLA,因为它是一种财务工具,而不是运营工具。它告诉你的是事后能获得多少赔偿,而不是在支付系统出问题时(正如大通银行客户所经历的那样)该如何继续处理交易,或者在飞机滞留地面时(正如美联航所经历的那样)该如何保证飞机继续飞行。监管机构已经意识到这一点。欧盟的《数字运营韧性法案》(DORA)和澳大利亚的CPS 230都要求受监管企业评估、测试并缓解其技术提供商带来的风险。“我们的云服务商宕机了”已不再是可以接受的理由。
IT高管们应该停止问“我们的服务商的SLA是多少”,而开始问:“当某个关键依赖失效时,我们的业务必须维持哪些运转?我们是否已经证明自己能够做到?”
“第二供应商备份方案”只存在于PPT里
面对微软式的宕机事件,人们的本能反应是再购买一个供应商作为备份。乔德里讲述了一个故事:某位首席信息官(CIO)的CEO将Office 365标记为业务风险,并要求他寻找替代方案。这位CIO随即注册了Google Workspace。但当被问及切换后文档、链接和基于角色的访问控制是否还能正常运行,即便只是在一半场景下能用,他也表示自己并不确定。
这就是现实。仅邮件系统本身的切换就已经足够困难,因为用户在切换的那一刻就会丢失历史记录。现代办公套件早已不只是存储工具,每封邮件都包含共享文档的链接,权限与身份绑定,工作流程跨越多个应用。库珀曼从规模的角度阐述了这个问题:“我自己在Gmail和Outlook之间切换没问题,但一万人能做到吗?他们还能保持同样的生产力吗?”
同样的问题也存在于安全和网络领域,而且风险可能更高。所谓的“A供应商/B供应商”模式,需要两套策略始终保持完全同步,两套客户端软件,还需要有办法在危机当中把数万名用户和设备从一个系统迁移到另一个系统。库珀曼描述了一个客户的案例:“切换过去要花七天,切回来要花三十天。企业根本不能这样运营。”
一个从未在全规模下测试过的备份方案,根本不是备份,只是一种奢望。而一个会改变用户体验的备份方案,恰恰会在最需要它的时候失效。
另一种本能反应是干脆关闭安全防护,然而危机发生时,威胁行为者往往会迅速集结并发起攻击行动。在CrowdStrike宕机事件期间,网络钓鱼活动几乎立刻就被动员起来,美国网络安全和基础设施安全局(CISA)甚至不得不发出警告,提醒民众不要上钩。威胁行为者既可能来自内部,也可能来自外部,因此在关键故障发生期间——尤其是当故障已经成为公开信息时——安全防护必须保持警惕,不能松懈。
灾备云应由服务商自己搭建
这就引出了Zscaler在其“业务连续性云”(Business Continuity Cloud)上的做法,我认为这正是整个行业应当参照的范本。Zscaler并没有要求客户额外绑定第二家供应商,而是为每个客户构建了一个专属的、与其主零信任交换架构在架构上彼此独立的环境。
其中的设计选择值得深入了解。该业务连续性云运行在第三方数据中心(而非Zscaler自有的数据中心),使用独立的网络、独立的自治系统编号(ASN)、独立的DNS以及独立的云域。软件和威胁情报更新被有意错开发布节奏,以确保一次糟糕的生产环境发布不会同时波及备份环境。策略和身份数据以单向方式同步到一个只读的“最后已知良好状态”环境中。该服务覆盖九个区域,一旦某个国家被切断连接,仍足以保证该国境内业务继续运转。
“没有任何关联——没有共享网络,没有共享路由器,没有共享交换机,没有共享网络运维团队,”乔德里说。这正是老派的生产/灾备纪律,只是在云时代被重新构建。在目睹了过载的路由器导致全美航班停飞之后,“不共享路由器”听起来绝非多余之举。
有两个运营细节我认为值得特别一提。第一,Zscaler鼓励客户在平时就持续将模拟流量或可信用户流量通过备份环境路由,从而使故障切换路径得到每日验证,而不是仅依靠一年一次的桌面演练。第二,故障切换可以实现自动化,以优化恢复时间目标(RTO),也可以由客户手动触发,从而确保即便Zscaler自身无法访问,该机制依然能够运作。
Zscaler表示,目前已有近100家客户使用该服务,其中包括一家拥有超过30万用户的全球性银行、一家拥有超过10万用户的全球制药公司,以及一家拥有超过7.5万用户的美国电信运营商。该公司收取的费用被乔德里称为“象征性费用”,用以覆盖专属基础设施、网络以及常年待命的容量成本。
从微软这次宕机事件中得到的教训,并不是客户需要再买一套办公套件备用,而是主力服务商本身就应该将一套“命运隔离”的连续性环境作为服务的一部分提供出来。Zscaler已经证明,这一点在全球性安全云服务上是可以实现的。我希望看到每一家处于企业关键路径上的SaaS供应商——尤其是微软——都能被大客户施压,要求提供同样的能力。
不要把身份、应用和安全都放进同一个篮子
此次微软宕机事件还暴露出许多企业通过企业许可协议所面临的集中化风险。微软表示,此次事件不仅影响了Exchange和Teams,还波及了Defender XDR、Defender for Office 365以及Intune。对许多机构而言,微软既是办公套件提供商,又是身份提供商,同时还是安全栈提供商。一旦支撑这三者的共享基础设施出现故障,三者可能会同时失效。
库珀曼描述了企业在灾难发生期间维持运转所需的最低能力集合:人员、身份、网络与安全,以及业务关键型应用。每一项都必须正常运作,而任何一项都可能出问题。“你必须清楚自己的‘鸡蛋’都放在哪些‘篮子’里,”他说。
我并不是在反对平台化。但董事会应当清楚地了解,整合集中化在哪些地方造成了身份、应用和安全层面的单点故障,并确保这些层面不会共享同一种“命运”。
这对买家意味着什么
这不会是最后一次重大宕机事件,下一次可能是网络攻击、战争,或者是一次配置变更的推送,而不是某个潜伏已久的漏洞。以下是我现在给IT和企业领导者的建议:
明确“最小可行业务”。确定企业在重大故障期间必须维持运转的三到五个核心工作流程,比如支付、客户服务、交易或生产制造,并梳理每个工作流程背后所依赖的所有要素,包括身份、连接、安全以及应用本身。
审问每一个关键供应商的连续性架构。询问其备份是否运行在独立的基础设施、网络和DNS上,更新是否有时间间隔,以及故障切换由谁来触发控制。如果得到的答案只是“多个可用区”,那只是可用性,不是连续性。
持续测试,而非一年一次。一次桌面演练并不能证明5万名用户能够顺利切换过去再切换回来。应要求进行持续性验证,并开展不预先通知的故障切换演练。
危机期间保持安全防护在线。防御松懈时,攻击者的行动速度会非常快。如果连续性方案绕开了安全防护,那就是用一次宕机换来了一次入侵。
善用自身的购买力。大客户在合同续签时拥有议价权,应将“命运隔离式”的连续性保障,写入对关键路径上SaaS供应商的合同要求之中。
云计算确实兑现了其在敏捷性和规模化方面的承诺,但在这个过程中,整个行业却让一项来之不易的运营纪律逐渐荒废。刚刚过去的这一周提醒我们:无论是在云端、数据中心,还是在空中交通管制塔台里,一切终究都会出故障。而当故障真正发生时,SLA赔偿并不能让业务继续运转,唯有一套真正的连续性方案才能做到。
宙斯·凯拉瓦拉(Zeus Kerravala)是Kerravala咨询公司旗下ZK Research的首席分析师。本文由其为SiliconANGLE撰写。
图片来源:维基共享资源
