● 基于共享参数近端策略优化的无人机编队变换策略
作者: 钱力滢,鲜 勇,李少朋,刘 智
摘要: 针对受运动学约束的多无人机编队变换问题,提出一种融合拍卖式目标分配与共享参数近端策略优化(proximal policy optimization,PPO)的端到端协同规划方法。首先,针对编队变换过程中目标匹配不合理易导致的航迹交叉、路径负载不均等问题,构建综合考虑轨迹长度均衡性与交叉惩罚的分配代价矩阵,并采用拍卖式分配机制完成目标指派。其次,在中心化训练、去中心化执行框架下,设计共享参数策略网络,将自身运动状态、目标相对信息及邻居局部观测共同作为策略输入,实现多无人机协同变换规划。仿真实验结果表明:在不同编队规模条件下,所提方法均能有效完成编队变换任务。与基线方法相比,所提方法的最终平均训练奖励提高约67%;相比未引用拍卖式分配的共享参数 PPO,收敛所需代数减少约19%。