数据库往往是IT体系结构中的最终章节,也是最重要的一节。由于路由器、程序、中间件等组件的无状态性,决定了它们最主要的容灾能力即是:重启大法好。而数据库作为最终的信息载体,它的重启往往即意味着整个系统的不可用。这当然是用户和我们所不能接受的。我们必然把绞尽脑汁来保证数据库的稳健性。

不过根据墨菲定律,越担心发生的事情,它总是要发生的。尤其是当服务器大面积部署之后,一万台服务器每天都要宕个一两台。

而根据CAP理论,鱼与熊掌不可兼得,我们不可能在一条数据不丢的异地备份前提下,还能保证完美的性能。当业务量极大时,连号称一点数据不丢的Oracle DataGuard最高保护模式下也是根本抗不住的。特别是在某宝这样的数据量负荷下。

那即使一点数据也不丢,能做到不到一分钟的业务快速恢复么?这里指的是整个业务完成恢复的时间,而不是单指数据库可以拉起来的时间。明显是不行的。或者说业务倒是可以快速恢复了,但是数据仍然不一致,那将导致更严重的问题,这显然也是不行的。

这就意味着:任何只依赖数据库层面的容灾技术,是无法保证业务快速恢复和数据绝对一致性的,尤其是涉及钱的金融型系统。

那就无药可施了么?当然不是。办法总是有的,只是,要付出代价。而这个代价,无论是开发的代价,还是机器的代价,也是值得的。

声明:本文不会有具体的代码的实施方案,讲解的只是一种思路。好,下面我们进入正题。

金融型数据库Failover架构

我们知道,数据库是一个比较稳定的载体,一般不轻易挂,而如果挂了,则不会轻易就能起来。所以我们的出发点就是根本不能指望它能再起来。因此,我们需要failover。

Failover是什么?

(详见维基百科:链接https://en.wikipedia.org/wiki/Failover)

先简要说下这个Failover的基本思路:

  1. 设计之初即在异地机房创建好同样结构的数据库,同样结构的表;
  2. 中间件创建两套数据源,配置在内存时环境,可随时切换;
  3. 当主备发生故障或弹性流量切换时,人为或自动推荐DRM,中间件选择failover的数据源,新的数据全部流入新库,业务得以立刻恢复(仅限流水型数据)或短时间内快速自我恢复(状态型数据),或新逻辑主库达到一致性后恢复(状态型数据);
  4. 数据回流:流水型数据一般不需要回流,因为根据流水单号,可以路由到是原主库还是Failover库,而状态型数据一般需要进行merge。

前面说到数据也会有类型,所以我们把数据分为三种类型:

  • 流水型数据:流水型数据是无状态的,多笔业务之间没有关联,每次业务过来的时候都会产生新的单据,比如交易流水,支付流水,只要能插入新单据就能完成业务,特点是后面的数据不依赖前面的数据,所有的数据按时间流水进入数据库。
  • 状态型数据:状态型数据是有状态的,多笔业务之间依赖于有状态的数据,而且要保证该数据的准确性,比如账户余额,做余额支付时必须要拿到原来的余额,才能支付成功。
  • 配置型数据:因为此类型数据数据量较小,而且结构简单,这里就暂不讨论。大家可以根据前面的流水和状态型数据灵活地设计出failover方案。

下面分别看看它是如何实现failover的:

流水型数据

我们都知道,帐务对数据一致性的绝对要求(什么?不是绝对一致性要求?那建议你去玩个收藏夹什么的数据库,可以随便丢),当主库DB出现异常宕机时主备库的数据延迟,则无法确认主库与备库差异的数据量以及数据内容,则这部分数据不敢启用。

举个例子,某同学的银行卡账号在帐务数据库上,A同学通过此银行卡账户购买了一件衣服消费50000元并支付成功返回,主库数据已变动。这时发生DB宕机,A同学的资金变动数据还未同步到备库,则如果备库提供服务,则A同学会惊讶的发现,他的账户里又多了50000元。只有当DB的主备采用强同步模式下才能确保主库宕机后备库与主库数据的强一致性。但强同步下DB的整体性能下降基于到了70%,严重的性能损耗若支撑大业务量,需要大量的DB服务器。成本太高。

这时,如何解决呢?可以祭出我们的神图了,此图是现代关系型数据库基础思想,核心的手法是放弃全程的一致性,而追求最终的一致性,本质则是工程学中常用的核心思想:【空间换时间】

金融型数据库Failover架构

对应到Failover中,可以认为上图中,S状态是正常运行时的处理模式,当P(分区)的出现,也即是故障发生点,在DB目前的部署下已经无法完成对备库数据的依赖,原来的处理逻辑S(故障时S1)已经无法走通,则必须想出在异常状态下的处理逻辑S2(也即是网关模式failover),当分区结束,也即是故障恢复,完成S2与S1的合并后恢复正常模式S。

我们把这类的数据再拆成两种情况,交易类和支付类:

流水型数据(交易类)

大家可以想象一下,我们经常在某宝某东买东西,我们即将下的交易单,是不是跟之前的交易单没有多大的关系?是的,每笔的交易单都是完全独立的,这就意味着,即使拿不到之前的交易纪录,比如说交易主库宕了,我们想办法给它一个替代的数据库,仍然不妨碍我们下新的交易单。看到下图:

金融型数据库Failover架构

  • 当主库不可用时,我们通过更新内存型数据源配置,即时生效,将流量引入到提前准备好的Failover库中。
  • 由于做了幂等控制,而且打标位明显标识了些交易纪录是产生在主库还是Failover库中。这样,我们的交易是仍然可以继续进行的,而且我们的交易单号是不会重复的,且知道其生成所在数据库。这样,交易是不会下跌的,用户仍然会源源不断地给公司送钱(- -#)。
  • 在Failove阶段,原交易单号皆为不可使用状态,不可查询与更新。虽然用户体验不太好,但这样至少不会导致公司资损和数据不一致。
  • 我们一般会对交易库进行拆库,比如拆100个。这样如果一个数据库实例宕了,只会影响1%的用户对原交易的查询与更新。影响面控制到了最小化。
  • 当原主库恢复后,我们不需要将failover库的数据迁移回原主库。当我们查询或更新交易时,根据其交易单号的打标位,我们可以路由到这条交易单号所在的数据库,到底是在主库,还是在failover库。
  • 当然,可以把这一套Failover做成全自动监控和触发的,这样,半夜DBA可以继续睡觉,第二天早上起来再把原主库想办法给拉起来,回推Failover即可。满满的幸福感,是不是?

这样,当主交易库宕掉后,我们推送Failover或配置自动的autofailover,交易仍然可以继续,当交易主库恢复之后,再回推Failover,数据库恢复到初始状态。

流水型数据(支付类)

支付型的流水数据并不能像交易型的流水数据一样,可以随意地将数据源引入Failover库即可。因为涉及到帐务的纪录,因为我们不知道当主库宕掉后,我们的备库与主库之后,还有多少的差距,而我们对余额的更新,必须是拿到它上次的最终值,进行更新。绝不能出现像数据库那样的幻读或脏读的情况。

在下一部分,我会详细地来讲下状态型的帐务Failover怎么来完成,但这个改造是非常巨大的。那么,如何使用最小的代价来完成部分的效果呢?

以某宝为例,我们知道,很多年前,我们进入双11,都是要先向帐户内充值,然后这样保证在0点时,不会因为支付宝跟各银行之间的通信繁忙而影响我们支付。而现在呢?我们使用的更多是快捷支付(无论是储蓄卡还是信用卡)、花呗等,这有什么不同呢?

金融型数据库Failover架构

看上图,我们发现,无论使用快捷支付还是花呗,充值的钱其实没有影响到帐户的余额,换句话说,我们可以把这一笔进帐和出帐做成一个原子操作,直接写到另外的数据库上面去,做成异步记帐,而非先在帐务进100,再出100。

而这样一来,我们发现,帐务库其实并不是支付核心主链路上,严格意义上必须生存的数据库。而这就意味着,当它出现故障时,我们可以绕过它。下面看当帐务主库宕掉后,我们的策略是什么?

在网关模式下,Failover可充分利用银行卡(无论是存储卡还是信用卡)支付中账户的过度这个特性,解除了对余额数据的强依赖,将帐户余额功能下线,进入异步记帐状态:A同学通过支付平台,使用网银购买了一件100元的商品,此时他的账户将先充值100元,随后将100元转入中间账户(担保交易)。在这个过程中,A同学账户的金额变动为0(先+100,再-100),也即是不论他账户的历史余额为多少,在这种模式下不影响他的交易进行,以及他的账户没有多余的余额变动。这样,帐务库的宕机,就不会再影响到我们绝大部分的支付。

当然,想使用余额交易的用户肯定是受到影响的,在收银台进行渲染时,余额支付必然是不可用状态。而使用其他的支付途径则完全不受影响。

这样,用户可以继续开心地买买买,支付平台也没有遭受资损,银行的钱也没有丢,大家都happy(宕掉的机器不happy)。而这种模式,即是我们常见的快捷支付、信用卡支付等支付方式的基本原理,尤其是在国外信用卡高度发现的前提下,让老外充值?可能么。当然国际也不太可能会有快捷支付,为什么?因为支付平台在跟银行的谈判中一般处于绝对的弱势。而为什么天朝的某宝可以?呵呵...你知道的太多了...

状态型数据

下面看下Failover的工作原理。(因为没有专业绘图工具,直接PPT图方框生成图片格式了……)

(1)帐务正常状态

金融型数据库Failover架构

这个是帐务系统日常的数据库流转图。分几个模块:

  1. 帐务主库、备库、同机房和异地机房读库,通过数据库原生复制完成;
  2. 消息系统,接受帐务应用投递过来的消息,并转储至多份内存型数据库,快速存储;
  3. 帐务镜像库,不断消费存储在内存数据库的消息,始终保持约30分钟的最后帐务库状态;
  4. 帐务FO库,进行容灾切换时,新的数据存储在帐务FO库,正常状态下此库为完全空库;
  5. 异地机房读库+帐务镜像库可还原出最后帐务库的状态,再加上帐务FO库,三个库组成的帐务Failover铁三角,即可代替原帐务主库进行业务。

因此,任何的帐务数据变化事务,必须分为两部分:

  • 本地数据库数据修改
  • 异地消息投递

消息传递为账户快照,一阶段包含余额、系统和未达金额等,二阶段包含余额、冻结金额、交易信息等;快照保证严格时间顺序(锁控制);快照能够还原账户明细。

如果消息中心不可用,则直接降级并mark不可用时间点。

必须两者都成功才能返回应用帐务修改成功,即需要借助分布式事务来完成。当然耗时也会相应的增加,一般增加在5-10ms左右,这个业务上是完全可接受的。OK。下面看到每个环节的核心思想:

  1. 消息接受到帐务应用投递的事务型消息之后,立刻将消息进行落库。为什么要落库?应用是无状态的,它也是不稳定的,随时可以宕机,必须以消息的落库作为消息投递成功的依据,也是作为主库事务可以最终提交的依据。当然消息落的库,可以使用内存型数据库,因此这样更快,也可以使用MySQL数据库,因为这样更稳定。看两者的取舍了。
  2. 后者另启一个应用,不断地捞取消息库中的消息,然后进行消费,存入消息镜像库,此镜像库只保留最后半小时内的帐务的数据。因为正常情况下我们的主备延迟不会超过30分钟的,而且一般在3秒以下。即消息镜像库所存的数据一定远大于帐务主备库的数据差。这样,帐务读库+消息镜像库一定可以还原出主库的实时最终状态。
  3. 当帐务系统进入Failover状态时,流量瞬间进入FO库,然后确保原主库不再有新的事务进入和操作时,触发应用从消息库中获取积压的,没有被消息进行消息镜像库的用户名单,用于生成 不可记帐的黑名单,如果在Failover状态下被拉入不可记账黑名单的用户,是不允许记帐的。直到后台的任务将其消息进入帐务镜像库,方可继续记帐。
  4. 帐务FO库,事务建好所有帐务系统所需要的空表。所有对帐务的修改皆通过查询帐务读库+消息镜像库之后,将修改后的值,或者完全新增的值,记在这里。
  5. 当然,有Failover即有Failback。当原主库恢复正常之后,记录在failover库的数据必须进行回迁。即后台另一个Job,不断地将failover库的数据回迁至原主库,无论是覆盖还是新增。当然在回迁过来中,每一个帐务必须通过幂等算法,判断要不要查询一次异地机房的failover库,如果failover库的数据是最新的,但它还没被回迁至原主库,那即在failover库修改之后,开个小灶,立刻把它迁移回主库。

这,便是整个帐务failover的核心步骤和思想。下面通过更细节的讨论,领略它的风采。

(2)帐务failover状态

金融型数据库Failover架构

正式转换为failover状态前,需要进行几方面的前置准备工作:

  • 应用发出对主库的静止写入,终止消息投递,不管主库现在是否已经挂了
  • 消息继续消费,能消费多少算多少;
  • 当发现读库的最后一条余额纪录的修改在消息库(消息还没有消费完)或帐务镜像库(消息已经被消费进入帐务镜像库)时,说明两者之和一定可以还原出帐务原主库最后的镜像数据,此时,正式进入failover阶段,无论所有的消息是否已经被消费完成。从消息中心获取未消费消息列表,用户账号纳入黑名单,即标识为不可记帐,不可使用余额功能。
  • 二阶段快照比一阶段旧的纳入黑名单。若记账不在黑名单且FO库中无记录,则通过帐务镜像库和异地读库进行余额还原,优先取镜像库数据。
  • 真正记账前,先进行账户余额登记。在FO库上插入最新的余额数据,并记账。

不过,既然增加了几个环节来保障可以进行failover,但如果它们自身在不同时间点挂了呢?

消息中心不可用:

  • FO前T分钟内出现不可用,则不可FO,T为主库与读库同步最大延迟时间;
  • FO期间不可用,正常FO,若应用未形成黑名单,则拒绝记账。

帐务镜像库不可用:

  • FO前不可用但FO时可用,正常FO;
  • FO期间不可用,已FO部分继续记账,其他全部拒绝。(实现时依赖DB访问)

FO库不可用:

  • FO前不可用,不可FO;
  • FO期间不可用,强制激活备库,继续FO。

这样,我们便建立了一套可以failover的机制。接下来我们看如何进行数据回迁。

(3)帐务数据回迁状态

金融型数据库Failover架构

  • 获取自准备自failover准备开始的所有黑名单;
  • 拉起备库,强制激活为新主库(无论Oracle还是MySQL), 未在FO库记账且非黑名单的全部在新主库记账;
  • 后台开启迁移Job,不断将前FO库数据迁移至新主库,进行覆盖,删除掉FO库数据;
  • 如果FO库已被迁移至新主库的UID,则以后在新主库记帐;
  • 如果FO库未被迁移至新主库的UID,在FO库进行记帐,然后迁移至新主库,进行覆盖,删除掉FO库数据;
  • 应用定期获取未迁移账号列表,一旦FO库在回迁期间不可用,则该账号列表纳入Fail back阶段黑名单,其他账号正常记账。拉起FO备库,继续failback;
  • 待所有FO库数据全部迁移回新主库,failback状态结束。

帐务数据恢复至最初正常状态(配图懒得重新画了,就用最初的了……)

金融型数据库Failover架构

毕竟一直处于failover状态不是正常状态,当所有的FO库数据迁移回新主库,即可准备恢复至最初的集群服务状态,重新具备跨机房容灾能力。不过主库没必要再切回原机房。因为我们所有机房都具有对称的容灾能力。

不过,这里有两个疑问:

  1. 一般在大型金融公司中,应用肯定会部署到N台服务器上,如果一半应用服务器在正常状态,一半在failover状态,会怎么样?呵呵,用户的余额会变成两个帐号,而且都可用。
  2. 主库恢复后,如何做数据回迁工作?回迁过程中是不是也会出现一个余额帐号变两个帐号的问题?

答案其中已经在我们刚才的步骤中了,你能回答出来么?留给读者们。

下面即是帐务failover的整体的轮回图:

金融型数据库Failover架构

我们再备注几个注意的点:

  • 只读failover阶段:主要目的是兼顾主库的禁止写入和故障的快速响应,理论上只读failover模式只需要运行30秒,确保分布式事务不会跨主库和failover库即可。
  • 主库禁止写入:主库可用情况下的一个故障措施,它和检查应用开状态二选即一,也可以两者都使用双重保险。
  • 检查应用开关状态:此步骤主要是应用主库僵死无法禁写的情况,也可以作为日常切换过程(即主库没有宕机而推送failover)中的另一个保障措施。而这前三步,即是确保只有一份余额可用的关键。
  • Failback模式:数据回迁时,需要做兼容处理,需要帐户在failover库有过记帐处理并且还未回迁,则在failover库记帐,否则在主库记帐。
  • 必须是同城或同机房使用,同城或机房的延迟一般低于2ms

好了,整篇文章其实阐述的是一种Failover的思想,理解起来一点也不难。难就难在需要对现有的系统进行改造,需要付出巨大的人力、物力和时间成本。但带来的收益也是巨大的,可以快速地在秒级进行业务恢复或流量导向,快速地恢复业务,且不会导致数据的不一致。

因此,它是一个折中方案,需要决策者对系统的重要程度及投入成本进行全面的评估,才能付诸实施。因此,它也不是一种纯粹的数据库容灾手段,而是一套系统级的容灾方案。就像我们前面说过的那样:任何只依赖数据库层面的容灾技术,是无法保证业务快速恢复和数据绝对一致性的,尤其是涉及钱的金融型系统。