基于ARQ反馈的无人机通信中继自主选择研究

基于ARQ反馈的无人机通信中继自主选择研究

摘要: 无人机通信是实现无人机功能的关键环节，且往往以中继通信方式存在。中继选择是提升中继通信效能的一种重要方法。本文研究无人机中继通信在无信息情况下通过自主学习进行中继选择的问题，提出基于自动重传请求(ARQ)反馈的1 bit成功与否信息构建效用函数(即信息成功传输概率)，并利用多臂老虎机(MAB)中的汤普森采样算法进行中继选择。实验表明，基于ARQ反馈的1 bit信息进行选择，无论信道差异大小，都能以较大的概率最终收敛到最优中继，并且信道差异大时，收敛速度更快更稳定，收敛到最优中继的概率更大。

1. 引言

随着低成本小型化无人机技术的不断发展，得益于其机动灵活和按需即时部署等优点，无人机将在军民领域发挥越来越重要的作用 [1] [2]。建立和维持无人机间的无线通信链路是实现无人机应用的关键环节。无人机通信往往以中继通信的方式存在 [3]，而中继选择是实现无人机中继通信效能提升的关键技术 [4]。

由于无人机大规模等特点导致其决策交互信息过多等问题 [5]，与传统无线中继通信相比，无人机通信往往难以获得中继选择决策所需要的信息。本文研究无人机中继通信在无信息条件下，通过自主学习获取中继选择所需信息，从而进行中继选择。

在传统基于自主学习进行中继选择的研究中，存在多种多样的效能函数设计方法进行中继选择，实现不同的性能函数优化 [6] - [14]。这些方法在各自的应用场景和模型中都能完成最优中继选择。然而，现有研究中效用函数采用的具体性能指标各异，如容量、误码性能、延时、用户满意度等，且效用函数多是连续值。不同研究采用不同的效用函数形式，难以形成统一机制和在不同通信系统中相互兼容。本文提出利用自动重传请求(Automatic Repeat reQuest, ARQ)的1bit成功与否反馈信息设计效用函数(即信息成功传输概率)进行中继选择，以期实现统一的效用函数设计和在不同系统中的兼容。

ARQ是通信系统链路层的基本功能、基础协议，广泛存在于移动通信、无线局域网和短波通信等无线通信领域 [15]。ARQ通过重传保证通信质量，利用1比特信息(0和1)指示传输成功与否，具有协议基础广泛和反馈信息少等优点。通过ARQ信息，可间接获得系统的信道质量、误码和容量等信息。本文提出通过ARQ获得信息传输成功概率，并将其作为效用函数，利用多臂老虎机(Multi-Armed Bandit, MAB) [16] 进行中继选择。在给定无人机中继通信两跳信道条件下，基于ARQ反馈设计效用函数进行中继选择的实验表明：无论是在信道差异大还是信道差异小，使用汤普森采样算法均有较大的概率能够选择到最优中继；信道差异大时，选择到最优中继的收敛速度更快，收敛更稳定且收敛到最优中继的概率更大。

2. 基于自主学习的无人机中继选择模型

2.1. 无人机中继通信模型

无人机通常以集群的方式执行通信任务。在充当中继时，发送方先在无人机集群中选择一个无人机作为中继发送信息，无人机接收到信息后将信息放大并转发至接收方。本文研究的是收发双方及收发双方和中继无人机均处于相对固定位置且信道质量不发生变化的情况下的中继选择。图1为无人机群进行中继通信选择的模型。

Figure 1. Model of relay selection for UAV communication

图1. 无人机通信中继选择模型

2.2. 基于ARQ反馈信息进行中继选择方法

在上图所示通信过程中，发射方向无人机发送信息，无人机接收发送方信息并作为中继转发至接收方。接收方如译码成功，它反馈一个成功指示信息(本文中设定反馈为1)，表示此次信息发送成功，反馈信息通过无人机中继传输后到达发送方。发送方收到反馈信息1后，将继续发送新的信息。如果接收方译码失败，它发送消极的反馈(本文中设定反馈为0)，则表示接收信息发生错误，发送方将重传发送的信息。

在上述过程中不同的无人机作为中继传输信息会产生不同的传输效果。因此，发送方可以根据收到的反馈信息确定哪个无人机具有最好的通信效果。上述模型中，假设反馈信息(1或0)可以通过专用控制信道无差错传输，且不同无人机之间反馈的信息互相不干扰。本文基于ARQ的反馈信息，设计无人机中继通信效用函数，来反映无人机作为中继时转发信息的成功概率，并采取MAB中的汤普森采样算法进行中继选择。这种算法是在无外界信息情况下，通过自主学习获得中继选择所需信息，然后进行中继选择，即通过自主学习获得不同无人机转发信息成功概率，并以此作为效用函数进行中继选择。一些事先并不知道成功概率的问题，通过做若干次试验以及统计成功的次数，可以很直观地计算出成功概率，但是由于成功概率是未知的，计算出来的概率只能是成功概率的最优估计。因此，不能确定概率的具体数值，但是它也是一个随机变量，符合beta分布。这样其先验分布是Beta分布，且每个选择的收益的分布是Bernoulli分布，在这种情况下的后验分布仍然是Beta分布。

汤普森采样算法要先记录每个选择成功和失败的次数 αα 和 ββ，生成每个选择的beta分布，用每个选择现有的beta分布产生一个随机数，比较选择所有臂产生的随机数中最大的那个选择。假定进行1000次中继选择，选择的过程如图2。

Figure 2. Relay selection flow chart using Thompson sampling algorithm

图2. 汤普森采样算法中继选择流程图

2.3. 最优中继选择理论分析

考虑自由空间的传播损耗，当天线具有单位增益时，其路径损耗为： PL(db)=−10lg[λ2(4π)2d2]PL(db)=−10lg[λ2(4π)2d2]，则可得到自由空间传播损耗因子为： α=λ4πdα=λ4πd。令发送端与无人机中继间的自由空间传播损耗为 α1α1，无人机中继与接收端间的自由空间传播损耗为 α2α2。首先由发射端发送信号给无人机中继，则可得到无人机中继接收的信号为：

3. 仿真

为了验证本文算法的性能，使用MATLAB平台，结合两跳链路的中继选择模型分析分别在信道差异大和信道差异小的情况下汤普森采样算法进行中继选择的情况。

仿真的通信场景如图1所示。仿真参数设置如下：无人机中继的个数 nB=20nB=20，本模型随机设定每个无人机与发送方及接收方的 |h1||h1| 和 |h2||h2| 的瑞利分布的参数， |h1||h1| 和 |h2||h2| 的值将由对应的分布随机产生，具体的瑞利分布参数将按信道差异大和信道差异小两种情况随机产生。设定每个无人机和发送节点及接收节点间的距离 d1d1 和 d2d2 的值为4000 m。设定发送端的发送功率 PF=10 WPF=10 W，发射波的波长 λλ = 1米，无人机的发送功率 PW=10 WPW=10 W，无人机中继和接收端接收的噪声功率分别为 N1=N2=2e−11 WN1=N2=2e−11 W，门限信噪比 SNRm=30 dBSNRm=30 dB。设定选择的次数 nP=1000nP=1000 次。无人机与接收方及发信方的距离均设置为4000 m，两种类型信道设置分别如下。

信道差异大的情况：使 |h1||h1| 和 |h2||h2| 瑞利分布的参数σ1和σ2均匀分布在0.3到1的区间内；具体如表1。

信道差异小的情况：使 |h1||h1| 和 |h2||h2| 瑞利分布的参数σ1和σ2均匀分布在0.9到1的区间内。具体如表2。

序号	σ1	σ2	序号	σ1	σ2	序号	σ1	σ2
1	2.05	2.05	8	1.45	1.45	15	1.3	1.3
2	0.1	0.1	9	0.55	0.55	16	3	3
3	0.25	0.25	10	0.7	0.7	17	0.4	0.4
4	2.8	2.8	11	1.15	1.15	18	2.35	2.35
5	5	5	12	1	1	19	1.6	1.6
6	1.75	1.75	13	0.85	0.85	20	2.5	2.5
7	2.2	2.2	14	1.9	1.9

Table 1. Setting of Rayleigh distribution parameters σ1 and σ2 for channel with large channel differences

表1. 信道差异大时信道的瑞利分布的参数σ1和σ2的设置

序号	σ1	σ2	序号	σ1	σ2	序号	σ1	σ2
1	4.7105	4.7105	8	4.9737	4.9737	15	4.7895	4.7895
2	4.9211	4.9211	9	5	5	16	4.5526	4.5526
3	4.5	4.5	10	4.6579	4.6579	17	4.8947	4.8947
4	4.9474	4.9474	11	4.7368	4.7368	18	4.6842	4.6842
5	4.5263	4.5263	12	4.7632	4.7632	19	4.6316	4.6316
6	4.8158	4.8158	13	4.6053	4.6053	20	4.8684	4.8684
7	4.5789	4.5789	14	4.8421	4.8421

Table 2. Setting of Rayleigh distribution parameters σ1 and σ2 for channel with small channel differences

表2. 信道差异小时信道的瑞利分布的参数σ1和σ2的设置

Figure 3. The comparison of success probability between selecting by Thompson sampling algorithm and optimal relay in theory, when channel difference is large

图3. 信道差异大时汤普森采样算法选择成功概率与理论最优中继成功概率比较

Figure 4. The comparison of success probability between selecting by Thompson sampling algorithm and optimal relay in theory, when channel difference is small

图4. 信道差异小时汤普森采样算法选择成功概率与理论最优中继成功概率比较

如图3为在信道差异大的情况下总的成功概率随着选择的变化情况，图4为在信道差异小的情况下的总的成功概率随着选择的变化情况。

从仿真结果可以看出，在信道差异大和信道差异小两种情况下最终都收敛于最优的中继，但明显在信道差异大时收敛速度较快且比较稳定。为了使结果更加可靠，随机设定信道参数并进行1000次实验，每次实验选择1000次直到收敛到最优中继为止，统计1000次实验中收敛到最优中继的次数，并生成柱形图图5。

Figure 5. The probability of convergence to optimal relay in 1000 experiments when channel difference is large and small

图5. 1000次实验中信道差异大和信道差异小两种情况下收敛到最优中继的概率

当信道差异大时，可看到收敛到最优中继的概率达到了95%，当信道差异小时收敛到最优中继的概率也达到了50%。可见汤普森采样算法能够较准确的选择出最优的中继。

4. 结论

本文提出利用ARQ反馈的1bit成功与否信息构建效用函数(即信息传输成功概率)，基于MAB方法进行自主学习获取无人机中继通信中的信息，进行中继选择。所提的基于ARQ反馈进行中继选择方法能以大概率选出最优中继。同时，基于ARQ反馈进行效用函数设计可不改变现有通信协议，容易与现有系统兼容。

审核编辑：汤梓红