RSSA: Robust Semantic and Spatial Aligner for Collaborative Perception
先改邻车特征里的方向和偏移线索,再按多种可能位姿搬到本车地图融合。
原文入口(出版社/公开稿) · 图表原页按需展开,不额外复制PDF
元信息
作者:Zhihao Yang、Zhiyu Xiang、Peng Xu、Tianyu Pu、Kai Wang、Eryun Liu、Dongping Zhang、Yong Ding。浙江大学;浙江省多模态通信网络与智能信息处理重点实验室;中国计量大学 发表信息:NeurIPS 2026(官方目录收录;阅读全文为 arXiv v1)
核心贡献
- 接收端用相对位姿给特征通道缩放、平移并加入位置编码,补上只搬格子遗漏的内容转换。
- 把单次坐标变换替换为对多个可能相对位姿的概率加权,未改变广播范式为握手。
- 训练时引入虚拟坐标系给罕见相对角度更多样本,并用单方与融合检测两种损失约束。
问题背景与研究动机
车路多方广播的是各自视角下提取的鸟瞰特征。接收车把邻车特征搬到正确格子后,特征内的目标朝向和中心偏移仍可能按发送方坐标解释;若传来的定位有误,连格子也会搬错。 测得一个相对位姿后直接搬格,不会同步改写特征向量里的方向和偏移线索,也把带误差的位姿当成唯一真值。握手范式先用该位姿对齐原始点云再编码,可减轻前一种问题,但需要请求和响应两轮且同样依赖定位。 原文附录以检测头把一个格点解码为目标中心和朝向为例:正确处理需要旋转中心偏移;只改变格点位置则没有旋转这段偏移。作者因此把特征内容和特征位置分两步处理。
方法详解 · 模型架构
协同感知的发送端与本车用共享 PointPillars 编码器,把点云变成鸟瞰特征网格(BEV)。发送端广播特征、位姿和不确定度;接收端用本车位姿依次做 SemT 和 P-SpaT,再与本车网格融合并检测三维框。
SemT:先改格内的特征表达
源和目标位置编码给出格点在两个坐标系的位置。由相对旋转生成通道缩放、归一化的平移生成通道偏置;对源特征做调制后加入目标位置编码。不是先解码显式目标框再手工旋转。
P-SpaT:多种可能位置加权
按本车和协作方的角度分布及相对平移分布采样。使用准蒙特卡洛共取 9 个候选,含测量均值;对每个候选重采样格点,将样本概率经 softmax 后加权融合,随后卷积。
RT-Aug:让训练覆盖更多朝向
随机虚拟坐标系让相对角度和高度更丰富;先在虚拟系用单方目标检测约束,再补偿到本车坐标并以融合检测约束。推理时虚拟变换为恒等。
实验 · 数据集
V2XSet 为仿真,V2X-Real 为真实采集的车路协同数据。评价 BEV 与 3D 检测 AP,IoU 门限 0.5/0.7。清洁设置指训练与测试不人工注入位姿噪声,不等于采集数据没有标定误差。带噪设置训练时给 x、y 与横摆施加零均值高斯,标准差分别 0.2–0.4 m/0.2–0.4°;推理分别扫描到 1.0 m/1.0°。
实验 · 实现细节
PyTorch,PointPillars,0.4 m × 0.4 m pillar,双 RTX 3090。Adam 初始学习率 0.001,第10和20轮每次缩到1/10,共40轮并早停选最佳轮。K=9,虚拟变换训练时横摆均匀取 [-180°,180°]、z 轴平移 [-0.5 m,0.5 m]。
结果与证据边界
表1/11:V2XSet 的 CoBEVT 广播,在 BEV AP@0.7 上不加噪 69.05→83.23,最重人工噪声 59.82→68.28;两端点训练制度不同,分别比较同制度下的基线。V2X-Real 不加噪时,CoBEVT 3D AP@0.7 31.00→38.41,握手参考 37.39。表2仅看 IoU≥0.5 配上的真阳性,SemT 前后平均中心误差 0.52→0.17 m、朝向 45.93→10.78°。表4在同为带噪训练的 CoBEVT、1 m/1° 注入下,P-SpaT 单项消融 BEV AP@0.7 64.41→68.28;这不是完整 RSSA 相对广播总增益。
优点
- 对比输入范式、不同融合主干、干净/带噪训练,并单列 SemT 前后检测错误及 P-SpaT 去留,有助区分两类错位。
- 同时给出真实采集集、仿真集、多个噪声强度及开销;附录还报告合成偏置、随机缺失与迟到。
局限性与需要复核的问题
- 人工噪声包括主实验高斯以及附录 Laplace、固定偏置、独立数据扰动;真实采集数据并不意味着回放了真实 GNSS 漂移或端到端链路。
- RSSA 需要定位信息,不能在相对位姿完全未知时工作;原文仅验证三维目标检测,未验证分割、跟踪、空地跨视角。
- 表10 V2XSet 在 1 m/1° 测试下,不加噪训练的 CoBEVT+RSSA 只有 34.16,带噪训练 68.28;要公平比较训练噪声,而不能把整段差距都归给模块。
- V2XSet 清洁 CoBEVT 下握手 BEV AP@0.7 85.85,仍高于加 RSSA 的广播 83.23;并非所有条件都更好。
- 表11处理延迟由97.18升至111.76毫秒,增加14.58毫秒;表口径不等同于无线链路实测端到端延迟。
潜在改进与最小实验
- 冻结检测器、协议和噪声训练设置;将固定搬格、只加 SemT、再加 P-SpaT 逐项比较。分别测共视目标中心/朝向误差和接收侧推理耗时。
- 外推到空地前,分别记录横滚/俯仰、平面平移及高度误差;先以真实标定/定位日志拟合偏差再回放,保持目标与可见性口径相同。
可复现性评估
核对 arXiv v1 全部18页、14图、11表、20个编号公式;原页完整保留,以下公式仅重排关键式。NeurIPS 2026官方目录可核实收录。作者 GitHub 当前仅 README、LICENSE、.gitignore,未见实现或权重,未复现实验。
关联工作与概念
CoBEVT、AttFuse、ERMVP、CoSDH 是融合对照;CoAlign先在位姿层优化,RSSA再做接收端特征对齐,原文附录C.4提供组合对照。
关键公式
以下为核对后的关键式。全部编号公式另有逐项索引与原页;其余复杂式未声称完成逐字LaTeX重排。
公式(7) · 通道调制 · PDF第4页
γ、β分别按相对旋转或平移生成;F'_j 已含源位置编码。
查看LaTeX转录
F^{mod}_{j\to i}=\gamma\cdot F'_j+\beta公式(11) · 位姿不确定度 · PDF第5页
K 为样本数,w_k 为权重,Γ^k 为第k个相对位姿变换,F^sem 为语义校准后特征。
查看LaTeX转录
F^{spa}_{j\to i}=\operatorname{Conv}\left(\sum_{k=1}^{K}w_k\operatorname{Warp}(F^{sem}_{j\to i},\Gamma^k_{j\to i})\right)所有图表索引
点击原页可查看完整子图、图注及表格全部行列。以下为原论文证据,不是本次重新实验结果。
- Figure 1 · 第1页:确定性搬格与 RSSA 理念对照
- Figure 2 · 第3页:编码、广播、两级校准和融合架构
- Figure 3 · 第5页:相对变换增强与两种监督
- Figure 4 · 第8页:四个融合基线在两数据集的噪声曲线
- Figure 5 · 第8页:CoBEVT 的 SemT、P-SpaT、RT-Aug 组件消融
- Figure 6 · 第8页:不同位姿采样数对结果影响
- Figure 7 · 第9页:输入不确定度缩放泛化
- Figure 8 · 第9页:Gaussian/Laplace 噪声对照
- Figure 9 · 第9页:V2XSet 清洁与带噪检测示例
- Figure 10 · 第12页:先解码再变换与先搬特征再解码的示意
- Figure 11 · 第13页:V2XSet 清洁场景的局部放大
- Figure 12 · 第14页:V2XSet 相对平移和横摆分布
- Figure 13 · 第17页:CoAlign 与 RSSA 单用及组合
- Figure 14 · 第18页:V2X-Real 清洁与带噪检测示例
- Table 1 · 第7页:四主干和两数据集的干净设置结果
- Table 2 · 第13页:SemT 前后匹配真阳性的中心和朝向误差
- Table 3 · 第14页:SemT 位置编码消融
- Table 4 · 第15页:P-SpaT 单项消融
- Table 5 · 第15页:ERMVP 组件消融
- Table 6 · 第15页:输入不确定度失准
- Table 7 · 第16页:非零均值定位偏置
- Table 8 · 第16页:协作方数据随机缺失
- Table 9 · 第16页:协作方时间不同步
- Table 10 · 第17页:无噪训练与带噪训练的交叉对照
- Table 11 · 第17页:参数量、FLOPs、处理时延和检出精度
全部编号公式索引
- 公式(1) · 第4页:相对变换与位姿通道调制。符号:Γ为相对变换,R、T为旋转及平移,γ、β为通道仿射系数。
- 公式(2) · 第4页:相对变换与位姿通道调制。符号:Γ为相对变换,R、T为旋转及平移,γ、β为通道仿射系数。
- 公式(3) · 第4页:相对变换与位姿通道调制。符号:Γ为相对变换,R、T为旋转及平移,γ、β为通道仿射系数。
- 公式(4) · 第4页:位置编码及调制过程。符号:C为格心坐标,PE为位置编码,F为特征。
- 公式(5) · 第4页:位置编码及调制过程。符号:C为格心坐标,PE为位置编码,F为特征。
- 公式(6) · 第4页:位置编码及调制过程。符号:C为格心坐标,PE为位置编码,F为特征。
- 公式(7) · 第4页:位置编码及调制过程。符号:C为格心坐标,PE为位置编码,F为特征。
- 公式(8) · 第4页:位置编码及调制过程。符号:C为格心坐标,PE为位置编码,F为特征。
- 公式(9) · 第4页:相对变换的结构分解。符号:R_i、t_i与R_j、t_j分别为双方旋转与平移。
- 公式(10) · 第5页:相对位姿分布及概率加权重采样。符号:r_i/r_j为旋转,Δt为相对平移,w_k为对样本概率做softmax的权重。
- 公式(11) · 第5页:相对位姿分布及概率加权重采样。符号:r_i/r_j为旋转,Δt为相对平移,w_k为对样本概率做softmax的权重。
- 公式(12) · 第5页:相对位姿分布及概率加权重采样。符号:r_i/r_j为旋转,Δt为相对平移,w_k为对样本概率做softmax的权重。
- 公式(13) · 第5页:虚拟坐标系约束与补偿。符号:v为虚拟坐标系,sem和spa分别指内容和位置变换。
- 公式(14) · 第5页:虚拟坐标系约束与补偿。符号:v为虚拟坐标系,sem和spa分别指内容和位置变换。
- 公式(15) · 第5页:虚拟坐标系约束与补偿。符号:v为虚拟坐标系,sem和spa分别指内容和位置变换。
- 公式(16) · 第5页:虚拟坐标系约束与补偿。符号:v为虚拟坐标系,sem和spa分别指内容和位置变换。
- 公式(17) · 第6页:联合检测损失。符号:L_single与L_coll分别为虚拟系单方检测和本车融合监督。
- 公式(18) · 第12页:目标检测框换系与纯搬格误差。符号:p为格心,c/o为预测中心/方向,Δp和Δo为偏移量,R/t为刚体变换。
- 公式(19) · 第12页:目标检测框换系与纯搬格误差。符号:p为格心,c/o为预测中心/方向,Δp和Δo为偏移量,R/t为刚体变换。
- 公式(20) · 第12页:目标检测框换系与纯搬格误差。符号:p为格心,c/o为预测中心/方向,Δp和Δo为偏移量,R/t为刚体变换。
原文依据(按需展开)
速查卡片
先改邻车特征里的方向和偏移线索,再按多种可能位姿搬到本车地图融合。 表1/11:V2XSet 的 CoBEVT 广播,在 BEV AP@0.7 上不加噪 69.05→83.23,最重人工噪声 59.82→68.28;两端点训练制度不同,分别比较同制度下的基线。V2X-Real 不加噪时,CoBEVT 3D AP@0.7 31.00→38.41,握手参考 37.39。表2仅看 IoU≥0.5 配上的真阳性,SemT 前后平均中心误差 0.52→0.17 m、朝向 45.93→10.78°。表4在同为带噪训练的 CoBEVT、1 m/1° 注入下,P-SpaT 单项消融 BEV AP@0.7 64.41→68.28;这不是完整 RSSA 相对广播总增益。
旧版技术复核与原文摘录
核心判断
论文摘要(中文)
先改邻车特征里的方向和偏移线索,再按多种可能位姿搬到本车地图融合。 接收端用相对位姿给特征通道缩放、平移并加入位置编码,补上只搬格子遗漏的内容转换。
PDF第1页:semantic and probabilistic spatial transformations
研究动机(中文总结)
车路多方广播的是各自视角下提取的鸟瞰特征。接收车把邻车特征搬到正确格子后,特征内的目标朝向和中心偏移仍可能按发送方坐标解释;若传来的定位有误,连格子也会搬错。 原文附录以检测头把一个格点解码为目标中心和朝向为例:正确处理需要旋转中心偏移;只改变格点位置则没有旋转这段偏移。作者因此把特征内容和特征位置分两步处理。
PDF第2页:view-dependent geometric attributes;第12页式18–20对比目标框和局部特征换系。
创新与贡献(中文总结)
接收端用相对位姿给特征通道缩放、平移并加入位置编码,补上只搬格子遗漏的内容转换。 把单次坐标变换替换为对多个可能相对位姿的概率加权,未改变广播范式为握手。 训练时引入虚拟坐标系给罕见相对角度更多样本,并用单方与融合检测两种损失约束。
PDF第5页图3和式13–16:随机虚拟坐标系单方监督、再补偿到融合坐标系。
方法与证据
方法(中文总结)
协同感知的发送端与本车用共享 PointPillars 编码器,把点云变成鸟瞰特征网格(BEV)。发送端广播特征、位姿和不确定度;接收端用本车位姿依次做 SemT 和 P-SpaT,再与本车网格融合并检测三维框。 PyTorch,PointPillars,0.4 m × 0.4 m pillar,双 RTX 3090。Adam 初始学习率 0.001,第10和20轮每次缩到1/10,共40轮并早停选最佳轮。K=9,虚拟变换训练时横摆均匀取 [-180°,180°]、z 轴平移 [-0.5 m,0.5 m]。
PDF第3页图2;第4页式4–8,第5页式10–12依次处理格内特征与格点位置。
实验结果(中文总结)
表1/11:V2XSet 的 CoBEVT 广播,在 BEV AP@0.7 上不加噪 69.05→83.23,最重人工噪声 59.82→68.28;两端点训练制度不同,分别比较同制度下的基线。V2X-Real 不加噪时,CoBEVT 3D AP@0.7 31.00→38.41,握手参考 37.39。表2仅看 IoU≥0.5 配上的真阳性,SemT 前后平均中心误差 0.52→0.17 m、朝向 45.93→10.78°。表4在同为带噪训练的 CoBEVT、1 m/1° 注入下,P-SpaT 单项消融 BEV AP@0.7 64.41→68.28;这不是完整 RSSA 相对广播总增益。
PDF第17页表11:CoBEVT BEV AP@0.7,清洁69.05→83.23;1 m/1°人工噪声59.82→68.28。