一款Wal的设计方案

KunkkaWu • 2023-01-02 • 云技术社区 • 282 阅读

TOC

共识中的Wal需要解决什么问题？

解决共识中途宕机，造成的节点状态丢失。
解决共识中途宕机，造成的尚未落盘或者尚未同步到其他节点的Log Entry数据丢失
解决共识节点重启后，节点数据重放

共识中的Wal需要哪些功能？

初始化： Wal初始化，预分配资源
单条写：单条写入Wal，支持同步或者异步刷盘
批量写：批量写入Wal后，一次性刷盘
读日志：根据Index，读取Wal中存放的数据内容
删日志：跟据Index，可以往前删除Wal文件，释放磁盘空间
手动刷盘：当开启的是异步刷盘模式的时候，可以手动执行提前刷盘

设计思路

做减法
- 共识的wal并不需要像数据库的wal那样，对读性能也有很高要求
- 需要恢复的数据量，不会多到需要snapshot的方式提速
- 减少一切资源消耗，减少过度使用锁
统一对外
- 统一对外开放接口，统一选项和参数
- 只针对数据wal存储，不做数据内部细分和定义
自动化
- 自动wal文件清理

架构设计

Segment 是什么？

每一个Segment表示一个数据片段。里面包含多条Log Entry等数据和信息。每一个存在过得Segment都对应一个Wal文件。Segment同时只会存在一个。

Segment有什么作用？

数据写入时候，每一个Entry都Append到Segment中。

当Segment大小已经超过阈值时，sync落盘。同时ID自增，清空Segment数据并创建新的对应的Wal文件。

Entry是什么？

Entry是最小wal数据单元。对于Wal来说，不关心Entry内部的数据结构，由用户自己定义。

Segment如何保证Entry数据的一致性？

每一次EntryAppend的时候，都会先做crc32计算，并一起Append到Segment中。这样，读取的时候，只需要检查crc32是否一致就可以保证数据一致。

示意图

image

结构体

//Segment 日志段，包含多条Log Entry
type Segment struct {
	id          uint64 // Segment的ID
	currentSize uint64 // 当前文件大小
	path        string // Segment的对应文件的路径
	index       uint64 // Segment中最小数据块的index
	position    []pos  // data中的索引
	data        []byte // 保存Entry数据，格式：checksum|entry_size|entry
}


//索引位置信息
type pos struct {
	start int //开始索引位置
	end   int //结束索引位置
}

Wal文件

每一个ID的Segment对应一个Wal文件，每当Segment写满后，自动销毁并创建新的Segment，同时新建一个wal文件对应。

Wal命名

{SegmentID}-{Index}.wal

SegmentID: 为当前对应的Segment的ID
Index：为当前Segment中最先被写入的Entry对应的Index

fmt.Sprintf("%016x-%016x.wal", SegmentID, Index);

示意图

image

结构体

//Wal日志
type Wal struct {
	mutex       sync.RWMutex
	path        string      //日志路径
	opts        Options     //选项
	segment     Segment     //当前日志对应的Segment
	firstIndex  uint64      //当前日志中的第一条Entry的Index
	lastIndex   uint64      //当前日志中的最后一条Entry的Index
	MarshalFunc MarshalFunc //Marshal函数支持自定义
}

//定义序列化方法
type MarshalFunc func(data interface{}) []byte

Options配置

//配置选项
type Options struct {
	Async             bool //是否开启异步模式，默认同步
	SegmentSize       int  //每一个Segment大小，默认64m
	CustomMarshalFunc bool //自定义MarshalFunc，默认false，使用Default
	AutoPurgeFile     bool //自动清理wal文件
	SyncPurgeFile     bool //是否同步清理文件，默认异步：false
}


var DefaultOption = &Options{
	Async:             false,            //默认同步
	SegmentSize:       64 * 1024 * 1024, //默认64M
	CustomMarshalFunc: false,            //使用默认的MarshalFunc
	AutoPurgeFile:     false,            //默认关闭自动清理wal文件
	SyncPurgeFile:     false,            //默认异步清理文件
}

Create创建Wal

首先创建目录
初始化Index，创建wal初始文件00000000-000000000.wal
预分配文件空间，默认64m

Write 写Wal

首先marshal序列化数据，计算长度和crc32值
将计算长度+Segment中currentSize，判断是否超过64M，未超过直接写入。超过64M则创建新的Wal文件并写入
写入Segment，并记录对应的位置，将索引信息记录到Segment中的position中

Read 读Wal

根据index，判断是否在Segment中（大于Segment中的index）
- 如果不在Segment中，从磁盘中Wal文件恢复对应的Segment
- 如果在Segment中，直接从当前Segment中读取
找到Segment之后，根据index从position中获取到对应的索引pos，快速定位数据位置。
再从Segment的Data中，读取数据。计算并校验crc32值
unmarshal后，返回数据