备战 618,京东如何保障系统稳定性?

每年 618 的大促都是一场技术团队大练兵的时候。作为技术研发人员,在这场战斗中,加深了对线上系统的敬畏之心,通过系统的备战,在技术上也得到了提升。大战在即,如何保障系统稳定,我们的备战思路是什么?

首先确定自己的备战思路,梳理核心流程、找出薄弱点,对薄弱点进行优化,针对业务进行资源隔离,同时协调压测对优化结果进行验证,并针对场景准备预案,比如降级开关在什么场景下开启,以及降级之后的影响有哪些等等,后面还要实际演练,防止实际情况发生时准备好的预案不可用。

我们知道,618 期间发生的问题都不是小问题,所以,如何做到更周密的筹备,我们可以秉承如下几个原则:

• 墨菲定律:任何事都没有表面看起来那么简单;所有的事都会比你预计的时间长;会出错的事总会出错;如果你担心某种情况发生,那么它就更有可能发生。

• 二八原则:19 世纪末意大利经济学家巴莱多认为,在任何一组东西中,最重要的只占其中一小部分,约 20%,其余 80% 尽管是多数,却是次要的,这就是二八法则。二八法则告诉我们,不要平均地分析、处理和看待问题,要把主要精力花在解决主要问题、抓主要项目上。

我们可以利用墨菲定律来梳理系统薄弱点,那些总是小问题不断的地方,一定会在某天酿成大的灾难,必须尽早解决。还可以利用二八原则梳理黄金流程,那些出了问题可能极大影响公司或影响用户的地方,就是不容有失的黄金流程。

备战 618,京东如何保障系统稳定性?

我们以此为思路,从四个方面进行逐一介绍。

梳理薄弱点

梳理系统架构

备战第一步,就是要对系统做一次全面的梳理诊断,其目的就是要甄别出系统的薄弱点。而梳理的第一步,就是要梳理出系统架构。通过梳理系统架构,梳理系统的层次结构和调用关系,由此排查系统调用的瓶颈和薄弱点。如是否有服务节点是热点或单点服务,是否有过长的调用链路,是否存在业务耦合相互影响等等。

以我现在负责的京东服务市场为例,服务市场采用 SOA 微服务化的架构设计理念,将服务市场设计为模块化和层次化的架构风格,高层次模块调用低层次模块,低层次模块通过接口向上提供服务。而复杂的调用链路,必然造成业务之间的相互影响,所以,通过对服务市场从部署、数据库访问、服务 PRC 调用、消息接收等进行了纵向垂直部署隔离,实现即使任一垂直域无论因为服务器还是数据库问题,影响不会扩散到其他业务上。这我会在后面详细讲述如何实现纵向垂直部署隔离。

备战 618,京东如何保障系统稳定性?

梳理系统薄弱点

无论系统架构是以哪种形式展示,我们都希望能够通过梳理把系统的薄弱点甄别出来。那系统薄弱点都有哪些特征呢?通过哪些手段能检查出系统薄弱点?

我们想一下,系统薄弱点可能引发哪些灾难,严重的有系统宕机,服务不可用,性能下降,404,CPU 100%,OOM 等等,所以,可能产生上述隐患的点就是我们要关注的系统薄弱点。对于系统薄弱点,我们可以通过以下几点进行排查:

• 检查没有脱库的功能:我们知道大促时的流量可能是平时的 2~10 倍,所以一些平时性能还好的查询接口,极有可能因调用量猛增,造成性能的极剧下降,如果其中的某些接口还是查询数据库的,那可能就会给数据库产生极大的压力,极端情况可能造成数据库 CPU 100%,出现服务不可用,因为数据库本身的架构设计就不是抗量的,所以对没有必要查库的功能进行脱库改造,以保证数据库的稳定,是非常重要的,尤其是那些严重依赖数据库的系统。

• 检查慢 sql:不是所有的功能都能实现脱库的,所以慢 sql 的检查就是为了保证数据库的稳定,因为一个慢 sql 就有可能把数据库的 CPU 打到 100%,一是由于慢 sql 最容易出现的是没有索引,二是由于慢 sql 大多是关联查询、嵌套查询,以及使用聚合函数等造成的,还有就是慢 sql 大多需要回源查询,大量的请求会造成查询能力特别慢,还会造成其他请求无法获取连接,影响正常服务。所以,对于那些特别依赖数据库的系统,要每日订阅慢 sql,进行优化。优化就是优化数据库索引,将慢 sql 变成快 sql。

• 检查 ump 和 log:人常说,研发人员有两只眼睛,一只是监控报警,另一只就是日志,所以无论什么情况监控报警日志一定不能少。因为有了监控就能做到即时发现问题,有了日志就能做到迅速定位问题。否则,出了问题,就是两眼一抹黑,一通胡猜。我经常看到,当有些问题从客服那里投诉过来,才发现,要么该有的监控没有,要么有监控却没有报警,以及在解决问题时总是找不到关键的日志,只能干着急。

• 检查 jsf、mysql、jmq 等 timeout:设置 timeout 实际上是一种快速失败策略,使系统具备自我保护的能力。检查超时,一是检查该有的设置有没有,二是检查设置的时间是否过长。没有超时设置,则系统就没有自我保护的能力,这自不必说,当大量请求连接因为长时间运行而无法得到释放时,系统的资源很快就会被耗尽,从而造成了服务的不可用。而过长的设置,同样在访问量大的时候,就会导致请求连接积压,这也会导致系统的 CPU 快速飙升。那超时应该设置多少合适,这需要具体情况具体分析,但一个查询请求设置 10s 超时肯定是跟没设置一样的。

• 检查 redis 热 key、大 key、慢日志:热 key 和 大 key 是不同的,热 key 是某些 key 可能会被突然暴增的流量大量访问,这些 key 又碰巧集中存储在同一分片上,从而使得该分片的 IO、CPU 等资源吃紧,极端情况下迫使 redis 进行 failover 主从切换,但切换后的瞬时流量可能又一下子击穿 redis,迫使 redis 再次 failover,如此反复,服务几乎就是不可用的。而大 key 则是某些 key 存储的 value 很大,或者结果集很多,也是在可能暴增的流量下,大 key 不合理的查询,使得 value 在 IO 传输中阻塞,这情况和慢 sql 很像,又因为 redis 是单线程,所以大 key 查询造成 IO 问题就会很容易凸显出来。所以,如果检查出热 key 或大 key,就建议进行修改。

• 检查 master-slave 同步延迟:master-slave 同步延迟很大可能造成数据不一致性,这有可能影响业务正常运营,如创建订单写到 master,然后从 slaver 查询订单,但由于延迟太大,就可能影响用户查不到,你可能会说,这还好吧,慢 1~2s 不会有太大影响,但这个逻辑如果放在创建订单之后马上查询订单,根据查到的订单创建结算,在这个场景下,如何查询 slave 找不订单,就是不可接受的,这可能导致流程代码出错。所以,需要评估这种延迟是否对业务产生影响。

• 检查定时 worker 全量扫描任务:定时 worker 大多数是在运行数据订正的任务,而数据订正往往又需要查询大量数据进行比对,其实,这都还好,不好的就是几次深分页的查询,可能造成数据库性能的极剧下降。所以,检查定时 worker,尤其要避免慢 sql 和大数据集的查询,否则会造成人为的流量洪峰。还有,检查定时 worker 的执行频率,检查不同 worker 的执行时间,尽量避免不同 worker 同时执行,检查定时 worker 执行的服务器是否单独部署。

与运营沟通 618 运营节奏,应战调用量高峰:提前与运营沟通运营节奏,可以做到知己知彼,并可以预知流量可能流向哪里,这可以有针对性的进行备战。

梳理黄金流程

黄金流程也称核心流程,什么是黄金流程,就是那些出了问题可能极大影响公司或影响用户的地方,就是不容有失的黄金流程。以服务市场为例,服务市场包括服务发布、服务审核、服务订购、服务结算、服务使用共五个环节,那其中哪些是重中之重的核心环节呢?服务市场是面向供需双方的双边市场,以需求方为大头,所以服务订购和服务使用是服务市场的核心环节。

梳理黄金流程,我们要整理出它的大致流向和关键节点,通过系统流向和关键节点发现系统设计不合理的地方,以服务市场交易流程问题,我们看到在履约中心订单完成后,通过观察者模式发送消息、创建订购、推送结算的设计是存在风险的,因为每个观察者失败了就失败了,且每个观察者的业务逻辑都不是幂等逻辑。这种设计的不合理,就必须通过梳理黄金流程来发现。

备战 618,京东如何保障系统稳定性?

资源隔离

梳理依赖资源(docker、vip、mysql、jimdb、es、jsf、jmq),及目前资源的服务器状况是否健康(cpu、memory、dish 等),进行纵向垂直部署隔离,实现即使任一垂直域无论因为服务器还是数据库问题,影响不会扩散到其他业务上,而这也是所谓的分离技术。

docker 资源

梳理系统 docker 资源部署情况,设定 x 轴是各个业务线,y 轴是业务系统,整理出一张二维表,根据之前梳理的系统架构图,可以清晰的看到各业务线下各个业务系统在不同机房的部署情况,如是否双机房部署,是否有热备机房,是否部署资源不合理等。机房 1 和机房 2 之间是两个不同的地域部署,所以通过地域可以实现容灾。还有,虽然系统都是一套代码,但可以根据各业务线的具体情况,某些业务线不需要的某些系统就不部署,因为代码走不到那里,并可根据业务调用量,合理配置资源情况。

梳理资源,一是梳理自己的资源部署情况,二是需要对上下游依赖系统,做到资源对齐(为了效率考虑,目前很多应用正常情况是同机房调用)譬如:如果上游部署在 3 个机房,机房 A、机房 B、机房 C,流量配比是 5.3.2,那我们也应该按照该比例部署。

备战 618,京东如何保障系统稳定性?

数据仅为示例,不是真实数据;表格形式仅供参考

vip 资源

检查 vip 配置,避免因为 docker 扩容或缩容,导致的 vip 配置错误,将扩容的 docker 加到 vip 中,将缩容的 docker 从 vip 中去掉。检查运营商的 IP 解析情况,譬如,需要支持电信、联通、移动、教育网等。当然,并不是所有业务系统都提供对外服务。热备机房不挂 vip,否则就会有线上流量了。当主力机房出问题的时候,通过将问题机房的 vip 飘到热备机房,从而实现流量切换。

备战 618,京东如何保障系统稳定性?

数据仅为示例,不是真实数据;表格形式仅供参考

MySQL 隔离

在 docker 资源的部署背景下,我们绘制 mysql 资源的部署情况,其中,有些业务线下的机房虽然有部署系统,但该业务线的流程是已经脱库的,所以就可以不配置数据库。还有某些流程在某些业务线下只有读操作,没有写操作的,所以,数据库只配置读库,而不配置写库。以及最重要的,不同业务线的应该使用不同的从库,并根据查询数据库的业务量,合理配置从库资源规格。mysql 与 docker 尽可能在同机房部署,这也可以有效的实现系统容灾。

备战 618,京东如何保障系统稳定性?

数据仅为示例,不是真实数据;表格形式仅供参考

Redis / Solr / ES 隔离

绘制 redis、solr、es 部署情况与绘制 mysql 思路一样。特别说下,服务市场部署 redis 与 mysql 不同之处在于,redis 是一主一从架构,各业务线共享同一 redis 集群,但不同系统之间使用不同的 redis 集群,所以,如果 redis 挂了,还是会影响所有业务线的,而避免 redis 宕机,则就要注意前面提到的,检查 redis 的大 key 和热 key。

备战 618,京东如何保障系统稳定性?

数据仅为示例,不是真实数据;表格形式仅供参考

JSF 业务隔离

梳理业务依赖关系,调整 jsf 调用链路,通过 jsf 分组进行业务隔离,这其实是最重要的,也是最难的,也只有把这个做好,才能实现各业务线出了问题不会相互影响。我们知道,一个系统里,既有 provider 也有 consumer,我们要做的就是保证在某一个业务线内,该业务线内 consumer 一定调用该业务线内的 provider 的,如服务市场的业务线 B,那一定是大前台在业务线 B 下只能调用业务线 B 的商品中心、交易中心、服务引擎等,而这实现就是通过 jsf 的分组别名,这没有啥技术含量,就是要了解业务依赖关系,认真仔细。由于系统是一套代码,对于那些有部署系统,但不提供 jsf 的服务分组,我们可以设置为 disable,以此区分和隔离。

在进行 jsf 分组隔离时,因为工作量很大,很是耗神,还有就会想到一个问题,一个系统提供几十个甚至上百个 jsf 接口出去,为什么分组命名会千奇百怪,几乎是每个 jsf 分组都有自己的命名,但仔细想来 jsf 接口可以做到细粒度隔离,因为 jsf 可以实现进程隔离和线程隔离,这使得即使是同一系统的 provider,也可以实现进一步的细分业务,来隔离各业务间的相互影响。

备战 618,京东如何保障系统稳定性?

数据仅为示例,不是真实数据;表格形式仅供参考

JMQ 业务隔离

jmq 大量应用在系统解耦的场景中,而 jmq 同样有 provider 和 consumer,它不像 jsf 那样灵活,可以支持多个分组,jmq 只能控制哪些系统生产消息,哪些系统可消费消息。因为 jmq 是通过 topic 进行消息传递的,我们不能给每个业务线申请一个 topic,所以 jmq 的隔离更多的是,梳理业务依赖关系,对那些不会生产或消费 jmq 的业务线,设置 topic 为 disable,确定消息会被哪些系统生产,又会被哪些系统消费。

备战 618,京东如何保障系统稳定性?

数据仅为示例,不是真实数据;表格形式仅供参考

压测

压测不是为了把系统压挂,是否需要测出峰值,需按照业务场景决定。很多业务,可能就需要知道自己的峰值。压测一定是根据当前调用量进行评估,以 2~10 倍为预期值进行压测,压测还要选在掉用量少的时间,并逐步加量。压测尽量做到服务器及依赖资源的隔离,如果无法做到,需要控制好量。尤其当压测会查询数据库的服务,一定不要把数据库压出问题来,如果压出问题,就违背了压测的初衷,压测是为了把系统的瓶颈压出来,而不是把系统压出问题来。即使是完全读取缓存的服务,也会因压测造成系统性能的下降,因为数据在传输过程中的序列化和反序列化,以及对多线程的切换,都会造成 CPU 的飙升,还有注意磁盘空间是否会被日志打满,诸如以上等等问题,不要因为压测造成一场线上事故。

压测我们要关注哪些是结果指标,有并发数、TPS、TP99、成功率,这些结果指标能有效反应服务的好坏,以及关注被压测服务的 docker 的 CPU、内存、load 等系统性能。所以,压测策略一定是逐步加量,从并发 10 - 50 - 100 - 200 - 500,观察服务的 TPS、TP99、成功率是否有降低,还有被压测机从 1 - 5 容器数增加,对比单机服务性能是否有所提升。所以,压测的目的是为了能检验服务能力是否支持可水平扩展,即加机器就可以抵抗洪峰。

备战 618,京东如何保障系统稳定性?

备战 618,京东如何保障系统稳定性?

最后,压测一定要制定计划,今天压什么,明天压什么,还有跟兄弟团队打好招呼,因为别的团队也会压测,如果他的服务会调用到你这里,而这是你也在压测这个接口,结果超出预期的流量就可能造成意想不到的麻烦。

预案

预案准备至关重要,它能保证系统在出问题时,进行及时止损,避免大出血。止损主要以降级开关来实现有损降级,以保证核心黄金流程不受到影响。因为系统业务演进多是混沌的,所以需要对系统的降级开关进行有效的梳理,哪些是有用的,那些是无效的,还要协调兄弟团队,一起沟通 618 备战方案,确定演练方案,联合备战。

对降级开关的梳理,不能只停留在知道有这个开关的基础上,还要知道这个降级开关在什么场景下开启,以及降级之后的影响有哪些等等,降级逻辑必须场景化,否则出了问题,开关开还是不开,都没有一个准则。

备战 618,京东如何保障系统稳定性?

总结

当然,在备战 618 的过程中,有很多事要做,不仅仅是业务隔离和压测,还要在梳理系统薄弱点过程中发现潜藏的问题,进行针对性的优化改造。这里有个题外话要说,备战过程中,我偶尔会听到一些声音,让我非常生气。

一是说,”之前没出问题,所以觉得就没问题“。我见过多少次线上事故,就是因为思想上的怠慢,问题并不是不知道,就是本着侥幸的思想,觉得之前没问题,觉得现在就没有问题。这种想法我认为就是错的,之前没问题,不代表它不是问题,是问题就是问题。我犯过错一个错误,就是大上周上线报警出一个问题,排查有个慢 sql 查库,然后进行了修改,不急不慢改一周准备第二天晚上上线,结果第二天早上就被人刷了,数据库 CPU 直接干到 80%,好在这个功能有降级,且业务之间进行隔离部署,没有造成很大的影响。所以,发现问题一定要即时修改。

二是说,”之前的逻辑不是我写的,我就改了这些,那些代码我不太清楚“。这种说辞更不可接受,你连你改的代码上下文都不了解,你改什么代码,你能不改错么。所以,我要求大家,之前的代码不管谁写的,我不管了,但现在代码在你手上,你就必须负责把它写好,不能总是个临时方案,开个分支出去,最后代码一团浆糊。举个例子,上线新代码为了能实现快速降级,通常使用开关进行切换,这时系统里就会有新老两套代码,那老代码什么时候删除,如果当时写代码的人不负起责任,代码就那么放着,也不删,那后面不仅系统代码会越来越臃肿,而且代码的可读性也会越来越差。甚至不小心弄错了开关,还会出现意外的彩蛋什么的。

相关推荐