一文解析LKMM(Linux内核内存一致性模型)

一、KCSAN介绍

KCSAN(Kernel Concurrency Sanitizer)是一种动态竞态检测器，它依赖于编译时插装，并使用基于观察点的采样方法来检测竞态，其主要目的是检测数据竞争。

KCSAN是一种检测LKMM(Linux内核内存一致性模型)定义的数据竞争(data race)的工具，同时它也可以控制报告哪种类型的数据竞争。

KCSAN知道LKMM定义的所有标记原子操作，以及LKMM尚未提到的操作，例如原子位掩码操作(bit mask)。

KCSAN扩展了LKMM，例如通过提供data_race()标记，来表示存在数据竞争和缺乏原子可能性。

1.1 LKMM(Linux内核内存一致性模型)

Linux内核内存模型目前在源代码树中的memory-barrier.txt和atomic_ops.txt文件中有非正式的定义。包含以下组成部分：

变量访问(Variable Access)

使用READ_ONCE()、WRITE_ONCE()和ACCESS_ONCE()宏来保护从共享(但非原子)变量的加载和存储；

内存屏障(Memory Barriers)

一类同步屏障指令，是CPU或编译器在对内存随机访问的操作中的一个同步点，使得此点之前的所有读写操作都执行后才可以开始执行此点之后的操作。比如barrier、smp_mb/smp_wmb/smp_rmb等；

锁操作(Locking Operations)

原子操作(Atomic Operations)

控制依赖(Control Dependencies)

Linux内核提供了一个有限的控件依赖的概念，在某些情况下对依赖控件的存储进行优先加载；

RCU宽限期授权关系(Grace-Period Relationships)

允许更新者等待所有已经存在的读侧临界区完成，再回收旧的资源；

C11原子原语 (C11 Atomics)

将原子原语的实现委托给编译器；如果多个体系结构采用这种方法，将减少体系结构特定代码的数量。

1.2 数据竞争

为什么要关心数据竞争?

C语言的发展独立于并发性。如果给定的变量或访问没有任何特别之处，则变量只会在响应当前线程的存储时发生变化。

C语言和编译器的进化对并发性不敏感

优化编译器正变得越来越丰富

因此，编译器可以并且使用各种优化，包括负载融合、代码重新排序和许多其他可能导致并发算法故障的优化。

读取拆分（单次访问多次读取）

存储拆分（单次访问多次写入）读取融合（编译器直接使用上一次对这个变量的load结果，而不是真正再去load一次）

存储融合（编译器优化写入变量流程，不再真实写入）

代码重排（把一些类似的计算归在一起，节省占用的寄存器，改善现代超标量微处理器里面各个运算单元的利用效率）

虚拟读取（编译器优化会导致多次读取，导致后续加载异常）

虚拟存储（编译器优化会导致多次存储，导致后续存储异常）

.....

因此需要告诉编译器并发代码，Linux提供内存一致性模型，也提供检查方法解决此类问题。

1.2.1 访问方式

普通访问

标记访问

1.2.2 同步冲突访问的检测条件

在访问同一个地方并且至少有一个是写操作

至少有一个是普通访问（比如x+42）

以下线程打钩的是标准做法；打叉的是可能存在数据竞争的情况。

1.2.3 哪些不属于数据竞争

例如：使用不对称的锁机制，并且使用READ_ONCE/WRITE_ONCE标记访问。

二、依赖与配置方案

2.1 版本支持

KCSAN支持GCC/CLANG编译，需要GCC版本11，CLANG 12以上版本。

x86_64: >=5.8  ARM64: >=5.17

 

2.2 KCSAN工具链支持

cc-option,-fsanitize=thread --param tsan-distinguish-volatile=1

2.3 配置选项支持

三、工作原理与触发条件

3.1 使用方式

检查未标记读取是否写入竞争，会持续扫描内核的主要分支，在访问的内存位置上设置观察点，挑出导致数据争用的数据，并将其报告给内核日志。

●用“软观察点”查找竞争

〇设置观察点和失速通道；

〇如果监测点已经存在，那么竞争检查将照常进行；

〇如果值改变了--> 竞争；

〇失速通道随机延迟，增加观察竞争状态的机会；

默认值:任务[1,80]us，中断[1,20]us。

●为所有检测内存访问设置观察点

〇 注释标记访问，仅用于检查非标记访问是否存在观察点；

KCSAN从不在标记的访问上设置观察点；

如果对并发访问的变量的所有访问都正确地标记了，KCSAN将永远不会触发观察点，因此永远不会报告访问。

●采样: 周期性建立观察点

〇默认值:平均2000次访问。

3.2 KCSAN软观测点

基于地址页索引

〇可以溢出到相邻槽。

〇使用索引确保报告元数据给匹配的生产者/消费者。

具有灵活、可缩放的特点，以数组的形式存放。

代码片段如下：

入口函数check_access，在check_access数据地址、长度、类型；在check_access函数执行find_watchpoint判断。需要检测的ptr已经插桩编译。

3.3 KCSAN 运行流程

进入check_access函数，格式描述包含数据指针、长度、读写类型；

确认是否需要观测，需要满足至少一个写操作且为普通访问；

如果判定需要观测，加入观察列表；

延时一段时长，查看是否有访问、变更数据等情况；如果有，则生产数据表，并打印数据到控制台；如果没有则退出；

在步骤3，如果未发现合适的观测点，则该数据运行流程退出

3.4 ASSERT检测机制

KCSAN提供有一种断言检测机制，检查在数据竞争模型以外的情况下提供竞争检测；

 

3.4.1 ASSERT集合

3.5 KCSAN特点

四、测试套件

4.1 KUNIT测试模型

KCSAN提供KUNIT的支持

创建多个access_thread线程用于测试用例函数的调用接口；

挂接console跟踪点，该跟踪点监控串口输出数据；如果有数据竞争报错，可以捕获并判断；

启动测试用例接口函数，实现测试函数的挂接并提供超时判定（缺省执行500毫秒）；

在执行超时以后，判断输出是否与预想一致；并给出判断结果。

4.2 测试条件

1. 配置CONFIG_KCSAN_KUNIT_TEST=y使能KUNIT

2. KCSAN功能正常开启

4.3 测试环境

QEMU Linux 6.11 core 4 GCC11

测试覆盖：

1. 不同条件下的数据竞争data_race

2.断言函数数据竞争assert_exclusive_x

3. barrier/lock判定

五、过程与案例分析

5.1 KCSAN启动过程

1. 在完成KCSAN配置后，系统启动时有“kcsan：enable early”打印：

2.后台会实时进行观测点的监控与比对，如果比中会有”BUG：KCSAN”控制台打印来描述数据竞争的信息；这些信息包括调用函数、数据竞争地址、CPU号、进程号等；可在不同的测试场景进行压力测试；

3.在运行过程中，查看“KCSAN kernel debug”节点查看当前的状态，这些状态信息包括观测点、数据竞争、ASSERT报错等一系列信息；

5.2 案例一

描述：IGMP协议timer超时与事件函数在读写mr_ifc_count变量的数据竞争

net: igmp: fix data-race in igmp_ifc_timer_expire()

解决办法：

1.  igmp_ifc_event/ igmp_ifc_timer_expire函数在读写mr_ifc_count变量存在数据竞争，需要使用LLKM 访问保护；

2. 修改调用mr_ifc_count点,使用READ_ONCE/WRITE_ONCE保证编译器的一致性;

3. mr_ifc_count和in_dev->mr_ifc_count值不等时启动重传机制；

5.3 案例二

描述：在taskstats_exit()中分配和测试任务统计时，会有一个竞争在读写sig->stats

When assiging and testing taskstats in taskstats_exit() there's a race when writing and reading sig->stats

解决办法：

1. 结构体成员sig->stats存在数据竞争，需要使用LLKM访问保护；

2. smp_load_acquire/smp_store_release函数解决CPU数据同步和编译器同步问题，适用于同一个函数内部的数据竞争；

六、总结

本文从工作原理、运行流程、测试方式等多个方面介绍了KCSAN，旨在让读者能够对KCSAN运行有一个直观的认识，利用KCSAN在产品中解决一些数据竞争问题；数据竞争是一个复杂问题，用KCSAN能帮助大家快速找到数据竞争问题，进而寻找方法解决或规避，本文更多传递是一种发现和解决此类问题的思路。

消杀器技术在不断地迭代和更新，也让大家多一份探寻世界、改变世界的机会；借此机会，站在巨人的肩膀上，让大家看得更远、走得更远，愿大家都有一个美好的明天。

编辑：黄飞