Linux的鲁棒性度量详解及鲁棒性关联测试分析

软件(或软件构件)鲁棒性是衡量软件在异常输入和应力环境条件下保持正常工作能力的一种度量。鲁棒性测试主要用于测试操作系统、应用程序、COTS软件、构件及服务协议等软件和协议的可靠性及健壮性。在操作系统和安全关键软件等一些重要软件的测试上尤为重要。对于系统鲁棒性的评价一般有基于测量的方法和基于故障注入的方法，近年来提出了鲁棒性基准程序方法(Robustness Benchmarking)[1]。鲁棒性基准程序(Robustness Benchmark)由一组健壮性测试用例组成。

实施软件鲁棒性测试的目的是发现所测代码的健壮性薄弱环节，并予以消除或增强抵抗异常情况的能力。增强代码健壮性的过程包括：(1)确定软件的激发健壮性失效的异常值参数，并进行测试；(2)分析测试结果，找出失效原因；(3)写保护代码屏蔽导致失效的异常值；(4)把保护代码与软件模块相连接[3]。
 

1 Linux内核函数测试

Linux操作系统体系结构从底层到顶部的顺序依次是：内核(包含内核函数)、系统调用、内建程序(操作系统的命令)。内核函数是内核代码的组成部分，其调用程序直接运行在内核空间。内核函数一旦出现异常，将立刻对整个操作系统产生影响。系统调用一般对内核函数进行封装，以此作为内核与用户空间的接口。当用户程序使用系统调用时会转到内核空间，调用结束后又会返回用户空间。内核函数的测试结果一般分类为：函数错误码返回、异常、内核挂起、工作负载夭折、工作负载结果不正确、工作负载完成[1]。

Linux内核函数鲁棒性测试的最终目的是要提高系统的健壮性，需要根据测试结果生成相应的保护代码。这方面的研究目前处于初期阶段。
 

2 鲁棒性维度分析

典型的鲁棒性测试包括模块化基准测试和层次化测试两种主要方法。模块化基准测试是对一个系统进行分离测试。它把一个独立的系统看作是一系列组件的集合，如文件系统、内存系统、外部交互系统、锁机制和多道程序运作等，另外还通过一个监视器程序来监视和收集测试的结果。而层次化测试是通过定义一个清晰的交互层，使测试和对各种模块进行测试的执行细节相分离。一些测试可以适用于所有模块，而另一些可能只适合一个模块子集。使用层次性结构是分解系统的好方法。通过层次化来对操作系统进行测试可以收到较好的效果[2]。

无论采用模块化基准测试还是层次化方法，最终都是对操作系统接口函数采用参数的组合测试。对鲁棒性测试结果进行分析的一种方法是使用维度(Dimensionality)模型。维度有两种定义：(1)参数维度，它指的是模块中参数的个数，对于一个软件模块而言，参数维度被定义为其变量的个数；(2)鲁棒性失效维度，对于引起鲁棒性失效的一组特殊参数，那些确实引起失效的参数的个数被定义为鲁棒性失效维数。
 

2.1 维度失效

维度失效分一维失效和多维失效。多维失效的参数一定都是符合条件的系统能够识别的值。一维失效和多维失效所引发的原因不同，一维失效是参数非法，多维失效是参数组合非法(每个参数都是合法的)。当一维失效用例被保护和屏蔽后，会不会跳转为多维失效，关键是看其参数是否构成组合关系。从对其参数的组合关系的判定上，可以判断该失效用例是真维失效用例还是变维失效用例[3]。

基于低维度优先的维度模型中失效维度不可能超过参数维度。可能属于一维失效的某个失效，同时也可能属于高维失效。对于这种情况，一般把这个失效作为低维失效来对待。同时激发软件鲁棒性失效所需考虑的最少因素取决于鲁棒性失效维数，当参数维度为失效维度时，测试结果的观察最为直观；当参数维度大于失效维度，测试结果的观察就不太直观了。失效维度也可以通过观察鲁棒性测试的响应模式得到。
 

2.2 失效状态分析

维度失效状态分为三类。(1)真维失效指状态失效条件被屏蔽后，测试用例跳转到正常状态；(2)同维失效指状态失效条件被屏蔽后，失效维度保持不变；(3)变维失效指相同条件下产生失效维度升高。由于基于低维度优先原则，所以由高维度向低维度的失效跃迁跳变不可能发生[3]。鲁棒性测试用例的失效维度状态转变如图1所示。

现以Linux系统函数read(fd， buf，count)为实例进行分析，说明上述不同失效维度之间的转变问题。函数的三个参数取值如表1所示。