RT-Thread中的Github Actions-电子发烧友网

RT-Thread中一共有五个Github Ac tion（rt-thread/.github/workflow）

分别是：

RT-Thread BSP build check（.github/workflows/action.yml）
ToolsCI（.github/workflows/action_tools.yml）
AutoTestCI（.github/workflows/action_utest.yml）
Check File Format and License（.github/workflows/file_check.yml）
Static code analysis（.github/workflows/static_code_analysis.yml）

下面分别讲解这五个Github Action。

RT-Thread BSP build check

总的来说，这个Action会通过matrix尝试编译多个BSP，并记录编译成功和失败的信息。执行脚本中的每个BSP编译步骤都在日志中创建了一个分组，以便在编译成功或失败时可以更好地显示和记录相关信息。

matrix列表中每个元素有三个属性，分别是

RTT_BSP：这组BSP的名字，后续输出日志时会用到
RTT_TOOL_CHAIN：编译这组BSP使用的工具链
SUB_RTT_BSP：各个BSP的目录

RT-Thread BSP build check的第一步：

首先先安装gcc和menuconfig依赖的包
调用tools目录下的menuconfig的touch_env

这个函数主要是创建一系列后续会使用到的文件夹，并且拉取远程的packages
以及修改Kconfig

设置一些RT-Thread自己的环境遍历，供后续使用

 1name:InstallTools
 2shell:bash
 3run:|
 4sudoapt-getupdate
 5sudoapt-get-qqinstallgcc-multiliblibncurses5libncurses5-devlibncursesw5-devscons
 6sudopython-mpipinstall--upgradepip-qq
 7pipinstallrequests-qq
 8gitconfig--globalhttp.postBuffer524288000
 9python-c"importtools.menuconfig;tools.menuconfig.touch_env()"
10echo"RTT_ROOT=${{github.workspace}}">>$GITHUB_ENV
11echo"RTT_CC=gcc">>$GITHUB_ENV

RT-Thread BSP build check的第二步：

会根据matrix.legs.RTT_TOOL_CHAIN判断需要安装什么工具链

RT-Thread BSP build check的第三步：

第三步是这次BSP编译测试的核心

首先会遍历所有的SUB_RTT_BSP
根据scons命令执行的成功与否（||前一个命令执行失败、&&前一个命令执行成功）来判断执行成功还是失败的逻辑
输出的时候会在GitHub Actions日志中创建一个分组，用于显示BSP编译的信息
计算总共花费的时间，输出BSP编译成功或者失败的信息，输出至$GITHUB_STEP_SUMMARY

 1name:BspSconsCompile
 2if:${{success()}}
 3shell:bash
 4env:
 5RTT_BSP:${{matrix.legs.RTT_BSP}}
 6RTT_TOOL_CHAIN:${{matrix.legs.RTT_TOOL_CHAIN}}
 7SRTT_BSP:${{join(matrix.legs.SUB_RTT_BSP,',')}}
 8run:|
 9source~/.env/env.sh
10failed=0
11count=0
12forbspin$(echo$SRTT_BSP|tr',''
');do
13count=$((count+1))
14echo"::CompilingBSP:==$count===$bsp===="
15echobsp/$bsp
16pushdbsp/$bsp&&pkgs--update&&popd
17scons-Cbsp/$bsp-j$(nproc)--debug=time|teeoutput.log||
18{total_time=$(grep"Totalcommandexecutiontime"output.log|awk'{print$5}');
19failed=$((failed+1));echo"::";echo"::build$bspfailed";
20echo"-build$bspfailedin$total_timeseconds">>$GITHUB_STEP_SUMMARY;}&&
21{total_time=$(grep"Totalcommandexecutiontime"output.log|awk'{print$5}');
22echo"-build$bspsuccessin$total_timeseconds">>$GITHUB_STEP_SUMMARY;echo"::";}
23done
24exit$failed

ToolsCI

总的来说，ToolsCI这个Action比较简单，会去尝试Build一个BSP、生成其它工程文件等等，用来测试使用。

关于scons一些参数的使用可以参考：SCons (rt-thread.org)

 1name:ToolsCI
 2#Controlswhentheactionwillrun.Triggerstheworkflowonpushorpullrequest
 3#eventsbutonlyforthemasterbranch
 4on:
 5#Runsat16:00UTC(BeiJing00:00)onthe1stofeverymonth
 6schedule:
 7-cron:'0161**'
 8push:
 9branches:
10-master
11paths-ignore:
12-documentation/**
13-'**/README.md'
14-'**/README_zh.md'
15-'**/*.c'
16-'**/*.h'
17-'**/*.cpp'
18pull_request:
19branches:
20-master
21paths-ignore:
22-documentation/**
23-'**/README.md'
24-'**/README_zh.md'
25-'**/*.c'
26-'**/*.h'
27-'**/*.cpp'
28permissions:
29contents:read#tofetchcode(actions/checkout)
30jobs:
31test:
32runs-on:ubuntu-latest
33name:Tools
34strategy:
35fail-fast:false
36env:
37TEST_BSP_ROOT:bsp/stm32/stm32f407-atk-explorer
38steps:
39-uses:actions/checkout@v3
40-name:InstallTools
41shell:bash
42run:|
43sudoapt-getupdate
44sudoapt-get-yqqinstallscons
45-name:InstallArmToolChains
46if:${{success()}}
47shell:bash
48run:|
49wget-qhttps://github.com/RT-Thread/toolchains-ci/releases/download/v1.3/gcc-arm-none-eabi-10-2020-q4-major-x86_64-linux.tar.bz2
50sudotarxjfgcc-arm-none-eabi-10-2020-q4-major-x86_64-linux.tar.bz2-C/opt
51/opt/gcc-arm-none-eabi-10-2020-q4-major/bin/arm-none-eabi-gcc--version
52echo"RTT_EXEC_PATH=/opt/gcc-arm-none-eabi-10-2020-q4-major/bin">>$GITHUB_ENV
53-name:BuildTools
54run:|
55scons--pyconfig-silent-C$TEST_BSP_ROOT
56scons-j$(nproc)-C$TEST_BSP_ROOT
57-name:ProjectgenerateTools
58if:${{success()}}
59run:|
60echo"Testtogenerateeclipseproject"
61scons--target=eclipse-s-C$TEST_BSP_ROOT
62echo"Testtogeneratecmakeproject"
63scons--target=cmake-s-C$TEST_BSP_ROOT
64echo"Testtogeneratemakefileproject"
65scons--target=makefile-s-C$TEST_BSP_ROOT
66-name:ProjectdistTools
67if:${{success()}}
68run:|
69echo"Testtodistproject"
70scons--dist-C$TEST_BSP_ROOT
71scons--dist-ide-C$TEST_BSP_ROOT
72ls$TEST_BSP_ROOT
73ls$TEST_BSP_ROOT/dist
74scons-C$TEST_BSP_ROOT/dist/project
75scons-C$TEST_BSP_ROOT/rt-studio-project

AutoTestCI

总的来说，这个Action的主要目标是根据matrix中的不同参数组合，安装必要的工具链、构建和测试代码。具体的步骤包括检出代码、安装所需工具、设置环境变量、构建代码，然后在qemu中运行测试并输出日志。根据参数的不同，这个工作流可以自动处理多个平台和架构的测试。

matrix列表中每个元素有五个属性，分别是

UTEST：这组BSP的名字，后续输出日志时会用到
RTT_BSP：测试使用的BSP
QEMU_ARCH：QEMU使用的平台架构
QEMU_MACHINE：选择QEMU的板级支持包
CONFIG_FILE：RT-Thread条件编译使用的CONFIG
SD_FILE：使用的sd.bin
RUN：是否启动

AutoTestCI的第一步：

安装必要的工具：scons、qemu、git

AutoTestCI的第二步：

根据matrix的属性选择安装相应的编译工具链

比如要测试arm架构和rtsmart/arm时，我们就选择安装arm-linux-musleabi_for_x86_64-pc-linux-g工具链

1name:InstallArmMuslToolChains
2if:${{matrix.legs.QEMU_ARCH=='arm'&&matrix.legs.UTEST=='rtsmart/arm'&&success()}}
3shell:bash
4run:|
5wget-qhttps://github.com/RT-Thread/toolchains-ci/releases/download/v1.7/arm-linux-musleabi_for_x86_64-pc-linux-g
6sudotarxjfarm-linux-musleabi_for_x86_64-pc-linux-gnu_stable.tar.bz2-C/opt
7/opt/arm-linux-musleabi_for_x86_64-pc-linux-gnu/bin/arm-linux-musleabi-gcc--version
8echo"RTT_EXEC_PATH=/opt/arm-linux-musleabi_for_x86_64-pc-linux-gnu/bin">>$GITHUB_ENV
9echo"RTT_CC_PREFIX=arm-linux-musleabi-">>$GITHUB_ENV

AutoTestCI的第三步：

第三步主要完成$TEST_BSP_ROOT下BSP的编译，以供后续在qemu上使用

1name:BuildBSP
2run:|
3echoCONFIG_RT_USING_UTESTCASES=y>>$TEST_BSP_ROOT/.config
4catexamples/utest/configs/$TEST_CONFIG_FILE>>$TEST_BSP_ROOT/.config
5scons--pyconfig-silent-C$TEST_BSP_ROOT
6scons-j$(nproc)--strict-C$TEST_BSP_ROOT

AutoTestCI的第四步：

第四步也是最重要的一步，开始测试相关用例

 1name:StartrunTest
 2if:${{matrix.legs.RUN=='yes'&&success()}}
 3run:|
 4gitclonehttps://github.com/armink/UtestRunner.git
 5pushd$TEST_BSP_ROOT
 6ddif=/dev/zeroof=sd.binbs=1024count=65536
 7popd
 8pushdUtestRunner
 9if[$TEST_SD_FILE!="None"];then
10python3qemu_runner.py--system$TEST_QEMU_ARCH--machine$TEST_QEMU_MACHINE--elf../$TEST_BSP_ROOT/rtthread
11else
12python3qemu_runner.py--system$TEST_QEMU_ARCH--machine$TEST_QEMU_MACHINE--elf../$TEST_BSP_ROOT/rtthread
13fi
14catrtt_console.log
15popd

拉取RT-Thread自动化测试机器人
制作sd.bin
使用需要测试的BSP启动qemu
最后输出相关日志

Check File Format and License

这个Action主要是用来检查文件的格式化和版权信息的，主要工作都由tools/ci/file_check.py完成，在此之前主要先检出当前仓库的代码和安装Python脚本依赖的包。

 1name:CheckFileFormatandLicense
 2on:[pull_request]
 3jobs:
 4scancode_job:
 5runs-on:ubuntu-latest
 6name:Scancodeformatandlicense
 7steps:
 8-uses:actions/checkout@v3
 9-name:SetupPython
10uses:actions/setup-python@v3
11with:
12python-version:3.8
13-name:CheckFormatandLicense
14shell:bash
15run:|
16pipinstallclickchardetPyYaml
17pythontools/ci/file_check.pycheck'https://github.com/RT-Thread/rt-thread''master'

file_check.py

我们可以先忽略使用的click命令行库，或者也可以从命名和使用方式猜测出它们的功能。

因为这个文件比较简单，所以我们可以猜测函数的入口就是check()。主函数里的逻辑是十分简单的，可以看到通过checkout.get_new_file()获得了一个文件列表，然后传递给了FormatCheck和LicenseCheck，它们又分别调用了自身的check函数，最后根据它们返回值判断是否检查出错误。

 1defcheck(check_license,repo,branch):
 2"""
 3checkfileslicenseandformat.
 4"""
 5init_logger()
 6#getmodifiedfileslist
 7checkout=CheckOut(repo,branch)
 8file_list=checkout.get_new_file()
 9iffile_listisNone:
10logging.error("checkoutfilesfail")
11sys.exit(1)
12#checkmodifiedfilesformat
13format_check=FormatCheck(file_list)
14format_check_result=format_check.check()
15license_check_result=True
16ifcheck_license:
17license_check=LicenseCheck(file_list)
18license_check_result=license_check.check()
19ifnotformat_check_resultornotlicense_check_result:
20logging.error("fileformatcheckorlicensecheckfail.")
21sys.exit(1)
22logging.info("checksuccess.")
23sys.exit(0)

checkout.get_new_file()获得的文件列表是需要检查的文件列表，而FormatCheck和LicenseCheck执行各自的检查逻辑。

首先是get_new_file，具体的逻辑也比较简单：

1. 通过git命令获得新增和修改的文件列表

2. 然后遍历这个文件列表

3. 遍历这个文件列表中的文件路径的每一层目录，看是否存在.ignore_format.yml文件

4. 然后根据.ignore_format.yml的属性来判断当前文件是否需要被检查

而FormatCheck主要完成的工作是：

1. 搜索所有.c和.h文件

2. 然后检查行首、行尾以及tab

而LicenseCheck的逻辑也比较简单，主要就是判断当前的Copyright的年份是否正确。

 1if'Copyright'infile[1]and'SPDX-License-Identifier:Apache-2.0'infile[3]:
 2try:
 3license_year=re.search(r'2006-d{4}',file[1]).group()
 4true_year='2006-{}'.format(current_year)
 5iflicense_year!=true_year:
 6logging.warning("[{0}]:licenseyear:{}isnottrue:{},pleaseupdate.".fo
 7else:
 8logging.info("[{0}]:licensechecksuccess.".format(file_path))
 9exceptExceptionase:
10logging.error(e)
11else:
12logging.error("[{0}]:licensecheckfail.".format(file_path))
13check_result=False

Static code analysis 这个Action和Check File Format and License是很类似的，主要流程都是相同的。最重要的就是利用cppcheck完成静态代码检查的功能： 1. 从文件列表中再一次过滤出C/C++相关文件2. 然后使用cppcheck逐个检查文件列表，并且捕获标准错误流

 1classCPPCheck:
 2def__init__(self,file_list):
 3self.file_list=file_list
 4defcheck(self):
 5file_list_filtered=[fileforfileinself.file_listiffile.endswith(('.c','.cpp','.cc','.cxx'))]
 6logging.info("Starttostaticcodeanalysis.")
 7check_result=True
 8forfileinfile_list_filtered:
 9result=subprocess.run(['cppcheck','--enable=warning','performance','portability','--inline-suppr','--error-exitcode=1','--force',file],stdout=subprocess.PIPE,stderr=subprocess.PIPE)
10logging.info(result.stdout.decode())
11logging.info(result.stderr.decode())
12ifresult.stderr:
13check_result=False
14returncheck_result
15@click.group()
16@click.pass_context
17defcli(ctx):
18pass
19@cli.command()
20defcheck():
21"""
22staticcodeanalysis(cppcheck).
23"""
24format_ignore.init_logger()
25#getmodifiedfileslist
26checkout=format_ignore.CheckOut()
27file_list=checkout.get_new_file()
28iffile_listisNone:
29logging.error("checkoutfilesfail")
30sys.exit(1)
31#usecppcheck
32cpp_check=CPPCheck(file_list)
33cpp_check_result=cpp_check.check()
34ifnotcpp_check_result:
35logging.error("staticcodeanalysis(cppcheck)fail.")
36sys.exit(1)
37logging.info("checksuccess.")
38sys.exit(0)
39if__name__=='__main__':
40cli()