通过 BLE 和 Wi-Fi 交换优化基于 ID 的远程无人机通信的延迟

抽象

远程识别 （Remote ID） 广播功能允许无人机 （UAV） 交换消息，这是无人机间通信的关键技术。尽管此功能增强了作可见性，但基于远程 ID 的通信中的低延迟对于确保动态环境中多无人机作的效率和及时性至关重要。为了应对这一挑战，我们首先通过考虑 BLE 4 和 Wi-Fi 协议中的数据包接收和冲突，为远程 ID 通信建立延迟模型。基于这些模型，我们制定了一个优化问题，通过自适应协议选择来最小化长期通信延迟。 由于延迟性能随无人机密度的变化而变化，我们提出了一种基于多智能体深度 Q 网络方法的自适应 BLE/Wi-Fi 切换算法。 实验结果表明，在动态密度场景中，与静态 BLE 4 和 Wi-Fi 模式相比，我们的策略分别实现了 32.1% 和 37.7% 的延迟降低。

索引术语：

[行 = 2] 无人机 （UAV） 的快速发展促使政府和机构为无人机作制定安全法规[1],[2],[3],[4].为了满足这一需求，美国联邦航空管理局 （FAA） 探索了各种实时无人机跟踪机制，重点是传输身份和状态信息。作为这些工作的一部分，FAA 引入了远程识别 （Remote ID） 技术，该技术使无人机能够通过蜂窝或射频 （RF） 通信链路进行跟踪[5]. 然而，由于许多地区蜂窝基础设施的可靠性有限且存在相关的成本限制，FAA 选择低功耗通信协议作为远程 ID 的标准。具体来说，蓝牙低功耗 （BLE） 和无线保真度 （Wi-Fi） 已被指定为远程 ID 合规性的主要技术[6].

Remote ID 系统利用无人机的机载传感器，如全球导航卫星系统 （GNSS） 和惯性测量单元，收集有关纬度、经度、高度、速度和系统状态的实时数据。然后，数据通过 BLE 或 Wi-Fi 通信协议以标准化消息数据包的形式定期广播。目前，Remote ID 已通过美国和欧盟等国家的立法强制部署，建立了对作无人机的可追溯监督系统[7]. 值得注意的是，Remote ID 不仅是合规性监控的监管工具，还是高级无人机应用的技术推动器。Remote ID 的广播机制通过实时无人机间消息交换，本质上支持去中心化的空域感知。通过接收附近无人机广播的 Remote ID 消息，无人机可以自主构建去中心化的 UAV 到 UAV 感知网络。此功能为多无人机协作任务提供基础通信支持，而无需依赖额外的基础设施。 例如，在[8]，在无人机之间广播任务状态和位置数据，可以在多无人机物体交付和数据收集作期间实现高效的任务协调和碰撞避免。[9]利用无人机之间的实时位置交换来实施分布式冲突警告系统。这些实施突出了 Remote ID 作为高级应用程序的标准化通信层的潜力。

然而，由于 UAV 的高度移动性，低延迟对于冲突检测、碰撞避免和任务协调等应用至关重要[10],[11].过长的延迟会导致决策延迟、碰撞风险增加以及协作任务的性能下降。因此，分析和优化通信方法的延迟对于确保无人机系统的可靠和高效运行至关重要。最近的研究探讨了相关通信协议中的延迟优化。例如[12]在 BLE 4 中对邻居发现过程进行建模，考虑信号冲突、发现延迟和能耗等因素。然而，它忽视了无人机节点在空中通信场景中表现出的动态移动性的关键方面。[13]引入了 BLE 跳频算法来缓解 Wi-Fi 信号冲突，但它主要侧重于解决数据包冲突，而不是分析或优化 BLE 和 Wi-Fi 的广播协议。[14]评估了多无人机通信中的 Wi-Fi 性能，重点关注丢包，但缺乏通信协议的理论模型，仅依赖于实验验证。[15]提出了一种混合 BLE/LTE/Wi-Fi/LoRa 交换方案，用于无人机网络中的能量和延迟优化，但它没有提供协议机制的详细模型，并且忽略了干扰和传输频率对延迟的影响。

基于上述研究的见解，我们研究了基于 Remote ID 的无人机网络中的通信延迟优化问题，具体来说，我们分析了 BLE 4 和 Wi-Fi 两种 Remote ID 通信协议的延迟特性，考虑了详细的传输机制和干扰效应。目标是最大限度地减少 UAV 远程 ID 的长期系统平均消息延迟。为此，我们设计了基于多智能体深度 Q 网络的 BLE/Wi-Fi 交换算法 （MADQN-BWSA），以动态优化无人机的协议选择和配置。仿真结果表明，所提算法在动态无人机网络中的时延性能优于基线方法。

如图 1 所示。1，GNSS 作为 Remote ID 的数据源，为无人机提供精确的状态信息。无人机利用远程 ID 向其他人广播消息，采用 BLE 4 或 Wi-Fi 作为底层通信协议。为了优化该系统的通信性能，本节分析了 Remote ID 的平均延迟并制定优化问题。

我们使用离散时隙模型评估 BLE 4 和 Wi-Fi 协议的数据包接收延迟，其中时间段被划分为长度为Δ.

如图 1 所示。2（a） 中，BLE 4 广播过程涉及发射器 （TX） 生成一个广播事件 （Adv_Event），该事件由三个相同的协议数据单元 （PDU） 数据包组成，在通道 37、38 和 39 上按顺序传输。每个 PDU 数据包都携带实际的远程 ID 数据，持续时间为一个P，具有P我数据包之间。连续广播事件由一个我，其中包括伪随机延迟RD.接收器 （RX） 定期扫描相同的通道，每个扫描窗口持续SW并重复每个S我.

为了确定广播事件和扫描窗口何时对齐，中国余数定理 （CRT）[16]用于求解全等方程并识别匹配的时隙。具体来说， CRT 为两个周期性事件（例如相应通道上的 BLE 4 传输和扫描）在公共周期内对齐的情况提供了解决方案。CRT 可以表示为

哪里t1和t2是两个周期性事件的开始时间，𝒮1和𝒮2是事件期间，而[𝒮1−1]𝒮2是 的模乘逆元𝒮1modeulo𝒮2.

我们定义ψBLE 4 系列作为每个 GNSS 更新周期传输的远程 ID 消息数，表示消息传输速率。假设初始 GNSS 更新时间为t0 (t0>0）、三个 BLE 4 广播频道的成功匹配时隙集c∈{37,38,39}在单个 GNSS 更新周期内为

这里一个我=T全球导航卫星系统ψBLE 4 系列哪里T全球导航卫星系统是 GNSS 更新周期。要应用 CRT，一个我必须相对素数为3⁢S我.因此一个我近似为一个^我，则为满足此约束的最接近整数。 所有三个频道的完整匹配时隙集是

最后，每个成功接收的 PDU 数据包的接收延迟为

Wi-Fi 广播机制如图 1 所示。2（b） 的。UAV 选择一个固定频道进行广播，在本例中指定为频道 6。携带 Remote ID 数据的 Beacon 数据包的持续时间为BD，并且连续信标之间的间隔为B我=T全球导航卫星系统ψWi-Fi 无线局域网哪里ψWi-Fi 无线局域网是 Wi-Fi 的消息传输速率。

RX 采用被动扫描，在通道 1、6 和 11 上侦听持续时间为TS在切换到下一个频道之前捕获信标数据包。在通道之间切换的时间表示为CT.使用 （1） 表示 channel 上 beacon 数据包的匹配时隙集c (c∈{1,6,11})是

哪里B^我是B我相对来说是素数3⁢(TS+CT).时隙值的范围我c用于通道c定义为

因此，信道上 Wi-Fi 信标数据包的接收延迟c是

让𝒰={u1,u2,…,uM}表示M无人机。UAV 来自的 UAV 集u我∈𝒰可以通过 BLE 4 接收远程 ID 消息定义为

哪里我ujBLE 4 系列表示是否为 UAVuj使用 BLE 4、PujBLE 4，tx是其发射功率，并且PL 系列uj,u我是 UAV 之间的路径损耗uj和u我.ψBLE 4 系列uj表示 UAV 的 Remote ID 消息传输速率uj使用 BLE 4 时。

无人机u我成功接收到 UAV 发送的单个 PDU 数据包uj∈ℛBLE 4 系列u我无自身技术干扰 （STI） 是

为了定义 Wi-Fi 的 STI，我们使用c区分u我使用不同的 Wi-Fi 信道发送信标，其中uj∈ℛWi-Fi 无线局域网u我,c和c∈{1,6,11}.套装ℛWi-Fi 无线局域网u我,c类似于ℛBLE 4 系列u我，表示u我在信道上传输 Wi-Fi 信标c.无人机u我成功接收无人机发送的 Wi-Fi 信标数据包uj∈ℛWi-Fi 无线局域网u我,c在 Wi-Fi 干扰下是

在本节中，我们对 BLE 4 和 Wi-Fi 协议的平均传输延迟进行建模。

无人机uj∈𝒰，能够成功接收通过 BLE 4 传输的远程 ID 消息的相邻 UAV 集定义为

什么时候uj通过 BLE 4 进行广播，这是在 GNSS 更新周期内成功接收的 PDU 数据包集，从t0表示为𝒩BLE 系列⁢4uj⁢(t0)在 （3） 中。让δuj,nBLE 系列⁢4代表n-所有成功接收的数据包中最早的数据包接收时间，即δuj,nBLE 4 系列=分钟{𝒩BLE 4 系列uj(t0)}n.考虑到数据包接收延迟和 BLE 4 数据包的无冲突概率，BLE 4 传输延迟从uj∈𝒰到相邻的无人机u我∈𝒮BLE 系列⁢4uj在t0可以表示为

哪里|⋅|表示相应集的基数。

考虑到数据包传输时间的随机性，发送的远程 ID 消息的平均延迟uj自u我∈𝒮BLE 4 系列uj是

类似于𝒮BLE 4 系列uj,𝒮Wi-Fi 无线局域网uj表示可以成功接收通过 Wi-Fi 传输的远程 ID 消息的相邻无人机集。使用 （5） 表示匹配的时隙集，表示为ℳWi-Fi 无线局域网c,uj⁢(t0)，其中通过uj已成功接收。让δuj,nWi-Fi 无线局域网代表n- 第 1 小的时隙ℳWi-Fi 无线局域网c,uj⁢(t0). 通过将数据包接收延迟与数据包冲突概率模型相结合，得到来自无人机的 Wi-Fi 传输延迟uj在t0自无人机⁡u我∈𝒮Wi-Fi 无线局域网uj是

考虑到数据包传输时间的随机性，平均 Remote ID 消息延迟为u我∈𝒮Wi-Fi 无线局域网uj发件人uj使用 Wi-Fi 是

目标是通过联合优化传输协议选择来最小化每个 UAV 的长期平均消息传输延迟我⁢(t)={我ujε⁢(t)∣∀uj∈𝒰,ε∈ℰ}和消息传输速率Ψ⁢(t)={ψεuj⁢(t)∣∀uj∈𝒰,ε∈ℰ}哪里ℰ={BLE 4，Wi-Fi}。优化问题表述为

其中T麦克斯表示总观察持续时间，以及𝒯表示所有时间点的集合，Suj={𝒮BLE 4 系列uj∪𝒮Wi-Fi 无线局域网uj}.约束 （16a） 确保每个无人机uj从集合中只选择一个通信协议ℰ在t.约束 （16b） 限制最大消息传输速率ψε,麦克斯适用于每种通信技术ε.约束 （16c） 对通信协议选择强制执行二进制决策。约束 （16d） 保证消息传输速率ψεuj⁢(t)为正整数。

P0 涉及动态环境中无人机的系统范围决策，表述为混合整数非线性规划问题。传统的优化方法难以处理其组合复杂性和实时要求。

为了解决 P0 问题，将其转换为马尔可夫决策过程 （MDP），然后设计基于 DRL 的 MADQN-BWSA。

时间t、每个无人机uj∈𝒰获取本地观测值ouj⁢(t)来自环境，其中包括来自附近无人机的信息。详细地

哪里我ujs⁢(t)={我ujε⁢(t)∣ε∈ℰ}是 UAV 选择的通信协议uj在t.𝚿ujs⁢(t)={ψεuj⁢(t)∣ε∈ℰ}表示所选协议对应的消息传输速率。𝐃ℛuj⁢(t)={duk,uj⁢(t)∣uk∈⋃ε∈ℰℛεuj}是 UAV 之间的距离uj和无人机uk.我ℛuj⁢(t)={我ukε⁢(t)∣ε∈ℰ,uk∈⋃ε∈ℰℛεuj}是 UAV 使用的协议集uk向 UAV 发送消息uj.𝚿ℛuj⁢(t)={ψεuk⁢(t)∣ε∈ℰ,uk∈⋃ε∈ℰℛεuj}表示传输无人机的消息传输速率uk.

根据观察oj⁢(t)、无人机的动作uj∈𝒰在t定义为

哪里我uj一个⁢(t)={我ujε,一个⁢(t)∣ε∈ℰ}表示选定的通信协议。𝚿uj一个⁢(t)={ψεuj,一个⁢(t)∣ε∈ℰ}表示对应的消息传输速率。

奖励函数旨在通过同时考虑本地传输性能和全局延迟来优化远程 ID 消息传输延迟，其定义为

哪里ruj当地⁢(t)=−1|Suj|⁢∑u我∈Sujd¯uj,u我⁢(t)激励无人机uj为了最大限度地减少对相邻无人机的消息延迟，提高本地通信效率，ruj全球⁢(t)=1|Suj|⁢∑u我∈Suj(d¯全球⁢(t)−d¯uj,u我⁢(t))防止无人机因有限的本地观测而做出次优决策，确保与全球传输平均值保持一致。这里，全局平均传输延迟d¯全球⁢(t)=1M⁢∑uj∈𝒰1|Suj|⁢∑u我∈Sujd¯uj,u我⁢(t).α和β是平衡本地和全球延迟影响的加权因子。

在通信受限且全球信息不完整的动态环境中，无人机必须依靠本地观测进行分布式决策。为了解决这个问题，我们采用了 MADQN 算法，该算法支持分布式训练和执行。

MADQN 中的每个代理都维护两个 Q 网络：主 Q 网络Qθj⁢(ouj,一个uj)和目标 Q 网络Qθj′⁢(ouj,一个uj)哪里ouj代表无人机的局部观测uj和一个uj表示 执行 者 执行的作uj.目标 Q 网络通过定期更新其参数来稳定训练θj′匹配主网络的θj.

MADQN-BWSA 通过跨多个事件的分布式决策来训练无人机。在每个时间步，每个无人机都使用 epsilon-greedy 策略选择作，从而平衡探索和利用。无人机通过应用时间差分学习、最小化损失函数以及通过软更新定期更新目标 Q 网络来更新其 Q 网络。体验存储在重播缓冲区中，并在积累足够的数据后更新 Q-network 参数。此过程一直持续到达到最大集数，从而允许无人机根据本地观测优化传输延迟。算法 1 中总结了 MADQN-BWSA 过程。

我们首先评估了固定协议 Remote ID 模式在具有 10 个无人机的多无人机环境中的通信性能。每架无人机的高度限制为 30 - 120m，水平飞行空间大小不同。每架无人机的飞行速度限制为 20 m/s，它们在此空域内遵循随机路径。GNSS 的采样周期设置为 1s。BLE 4 和 Wi-Fi 的数据速率均为 1Mbps，发射功率为 18dBm。BLE 4 的接收器灵敏度为 -85dBm，而 Wi-Fi 的接收器灵敏度为 -105dBm。路径损耗指数为 2.1，阴影方差为 6dB，应用了对数法线阴影模型。的值Δ两种技术均为 0.125 毫秒。BLE 4 的其他参数包括一个P=0.376 毫秒，P我=0.125 毫秒，RD=5 毫秒，SW=2ms 和S我=8 毫秒，而 Wi-Fi 包括BD=0.632 毫秒，TS=6ms 和CT=1 毫秒。

无花果。3（a） 显示了 BLE 4 和 Wi-Fi 的传输延迟如何随着不同空域大小的消息传输速率而变化。通常，较高的传输速率可以提高每个 GNSS 更新周期内的接收成功率，从而减少延迟。但是，由于传输和接收周期之间的不匹配，这两种协议都会以一定的速率增加传输延迟[17].在当前配置下，BLE 4 以 9 条消息/秒的速率表现最佳，而 Wi-Fi 以 10 条消息/秒的速率表现最佳。

无花果。3（b） 表示 BLE 4 和 Wi-Fi 的平均系统传输延迟及其最佳速率设置。 我们专门选择了几种具有代表性的空域大小来说明不同协议对无人机平均传输时延的影响。在相对高密度的环境中，例如空域水平尺寸为 100m 的环境2， 500 米2和 1,000m2，Wi-Fi 的延迟比 BLE 4 低。这表明在更拥挤的空域场景中，Wi-Fi 可能是减少通信延迟的更有利选择。 相反，在相对低密度的环境中，例如，空域大小为 1,500m2， 2,000 米2和 3,000m2，BLE 4 在平均传输延迟方面表现更好。随着空域密度进一步降低，在较大的空域大小（如 5,000m）中2和 10,000 米2，BLE 4 的优势变得更加明显。这些结果突出了自适应模式切换在优化通信性能方面的潜在优势。

我们评估了 MADQN-BWSA 在优化传输延迟方面的性能。无人机高度限制在 30m 至 120m 之间，水平空域从 100m 不等2到 10,000 米2.使用 Python 3.9 和 TensorFlow 2.10 进行模拟。训练参数包括批量大小 256、重放缓冲区大小 25000 和折扣因子 0.95。使用 Adam 优化器的学习率为 0.0001，软更新率为 0.999，初始探索率为 1，在 500 集后衰减到 0.1。集总数为 1,000，每集 100 个步骤。该网络有两个隐藏层，第一层有 256 个神经元，第二层有 128 个神经元，局部和全局奖励的权重都设置为 1。

为了评估该算法，我们将其与两个基线进行了比较：多智能体深度确定性策略梯度 （MADDPG），它使用集中式训练和分散执行并结合全局行动信息，以及独立参与者-批评者 （Independent-AC），它遵循基于策略的方法，同时具有分布式训练和执行。

无花果。图4（a）显示了三种算法的性能和收敛性。虽然所有算法都实现了收敛，但 MADQN-BWSA 在速度和奖励稳定性方面都优于其他算法，基线算法在收敛后显示波动。

无花果。图4（b）说明了10架无人机在不同空域水平范围内的系统平均传输延迟。“高空域密度”包括 100 米内的无人机2， 500 米2和 1,000m2空域，而“低空域密度”包括 3,000m2， 5,000 米2和 10,000m2空域。“动态空域密度”涉及高密度和低密度空域环境。将结果与固定传输配置与每种协议的最佳消息传输速率进行比较。 在高密度场景下，我们的算法实现了 1838 毫秒的系统平均延迟，而基于规则的 Wi-Fi 为 1865.1 毫秒，展示了无人机自主切换到 Wi-Fi 模式并优化传输速率的能力。在低密度场景下，我们的算法进一步将平均延迟降低到 245.5ms，而基于规则的 BLE 4 达到 232.3ms，表明无人机切换到 BLE 4 传输模式。 在动态密度场景中，模式切换的优势尤为明显。我们的算法实现了 1045.3ms 的系统平均延迟，明显低于 BLE 4（1544.7ms）和 Wi-Fi（1681.8ms）的固定传输模式，分别降低了 32.1% 和 37.7%。 无花果。图4（c）显示了在动态密度环境中每架无人机的平均传输时延。可以看出，所提算法在基线算法中保持了平均且稳定的结果。

本文重点介绍优化启用 Remote ID 的 UAV 通信中的 trnamission 延迟。考虑了数据包接收延迟和冲突，为 BLE 4 和 Wi-Fi 广播协议开发了平均消息传输延迟模型。然后，提出了用于动态通信协议切换的 MADQN-BWSA。仿真结果表明，与动态环境中固定的 BLE 4 和 Wi-Fi 传输模式相比，所提算法将无人机远程 ID 通信延迟分别降低了 32.1% 和 37.7%。