mesos agent recovery 详细过程分析

mesos agent 在升级完成后,将会 start mesos agent service, 会打印出一些 (flags, resources, attributes, hostname etc), 然后从目录 /data/mesos/meta 中恢复 mesos agent 状态。与此同时,Group 进程会连接到 ZooKeeper 上,并同步一些 group 操作(比如:joins, cancels, datas 的队列大小等)。然后采用消息摘要算法完成与 ZooKeeper 的认证。

之后,开始恢复运行在其上的框架(frameworks ) 信息。先恢复框架的 executors ,(与此同时,垃圾回收会启动定时任务(比如在多少天之后回收)以回收该 executor 的资源,这个部分可能会执行。)

即 recovering executors -> recovering Docker containers -> Recovering containerizer -> provisioner recovery complete .

恢复 docker container 原理是:会将之前的 container 信息 (container id, slaveId, container state, executorcontainer, pid etc ) 先保留下来, 以创建一个新 container 的方式复制保存。

之后把之前的老的 container 销毁。销毁的顺序是: 先让该container 中的 executor 退出,然后 destroy container.

这时,group 会在 zookeeper 中创建一个数据存储的目录。detector 会侦测 leading master

在 slave 这边,slave 开始从 checkpoint 恢复,同时会回调 container termination 操作,如果设置了重连接 flag, 则会发送重连接 executor 请求 。

slave 将 framework 的 task 状态更新成 TASK_FAILED,并更新该 task 对应的 container resources 信息。

status_update_manager.cpp 会接收 TASK_FAILED 的状态更新并更新检查点

如果该 slave 正处在 RECOVERING 状态,slave 会丢弃 TASK_FAILED 状态更新。

最后,slave 会清除所有未重新注册的 executors 。此时,mesos agent 完成 recovery 操作了。

status_update_manager.cpp 会 Resuming sending status updates, 并发送两次 Resending status update TASK_FAILED 给 slave 。然后 slave.cpp 会将该 task 的 TASK_FAILED 状态 forward 给 mesos master .

之后,status_update_manager.cpp 会收到 Received status update acknowledgement 并且会 Checkpointing ACK for status update TASK_FAILED

由于 TASK_FAILED ,此时 slave 会清掉该 task 对应的 executor。gc.cpp 也开始对该 task 的资源进行垃圾回收。

因此,最后在该 agent 上跑的 task 的 executor 都会被清除并将所有的资源回收,该 task 的 FAILED 的状态会由 该 agent 汇报给 master ,所以 该失败 task 如果不在当前 agent 上重新注册执行就会在另外一个 agent 上重新执行。。。

如果是在当前 agent 上执行,则 slave 会接收到该任务,并加入到 queue 队列并准备执行, docker 会为其准备启动 container 并检查 checkpoint , systemd 会分配一个 pid 给 mesos_executors.slice 。slave 此时,会得到 executors 重新注册的消息,并将在队列中的 task 发给那个 executor , 并更新成 TASK_RUNNING 状态,slave 也会将该状态转发给 master , 此时 task 恢复执行了。

http://blog.csdn.net/yeasy/article/details/46683297

http://blog.csdn.net/qianggezhishen/article/details/51783705

相关推荐