一致性算法 - Distro协议在Nacos的实践

• 服务器模式：AddressServerMemberLookup – 使用地址服务器存储节点信息，服务端节点定时拉取信息进行管理

核心代码如下：

初始全量同步

Distro协议节点启动时会从其他节点全量同步数据。在Nacos中，整体流程如下：

• 调用loadAllDataSnapshotFromRemote()方法从远程机器同步所有的数据
• 从namingProxy代理获取所有的数据data
  • 构造http请求，调用httpGet方法从指定的server获取数据
  • 从获取的结果result中获取数据bytes
• 处理数据processData
  • 从data反序列化出datumMap
  • 把数据存储到dataStore，也就是本地缓存dataMap
  • 监听器不包括key，就创建一个空的service，并且绑定监听器
• 监听器listener执行成功后，就更新data store

核心代码如下：

增量同步

       新增数据使用异步广播同步：

• DistroProtocol 使用 sync() 方法接收增量数据
• 向其他节点发布广播任务
  • 调用 distroTaskEngineHolder 发布延迟任务
• 调用 DistroDelayTaskProcessor.process() 方法进行任务投递：将延迟任务转换为异步变更任务
• 执行变更任务 DistroSyncChangeTask.run() 方法：向指定节点发送消息
  • 调用 DistroHttpAgent.syncData() 方法发送数据
  • 调用 NamingProxy.syncData() 方法发送数据
• 异常任务调用 handleFailedTask() 方法进行处理
  • 调用 DistroFailedTaskHandler 处理失败任务
  • 调用 DistroHttpCombinedKeyTaskFailedHandler 将失败任务重新投递成延迟任务。

核心代码如下：

       Distro协议是阿里的私有协议，但是对外开源框架只有Nacos。所有我们只能从Nacos中一窥Distro协议。Distro协议是一个比较简单的最终一致性协议。整体由节点寻址、数据全量同步、异步增量同步、定时上报client所有信息、心跳探活其他节点等组成。

       本文中的Nacos源码版本为Nacos 1.3.2 ，属于优化过的源码，抽象出一致性协议抽象接口，和JRaft共用节点寻址模式。

林淮川

毕业于西安交通大学；奈学教育《百万架构师训练营》讲师、企业级源码内源负责人，前大树金融高级架构师、技术委员会开创者、技术总监；前天阳宏业交易事业部技术主管；多年互联网金融行业（ToB）经验。