0 引 言
合成孔径雷达自动目标识别（Synthetic Aperture Radar Automatic Target Recognition, SAR -ATR）［1］图像解译的关键方法之一,受到了广泛关注［2-4］。
传统SAR-ATR方法主要依赖于从SAR图像中提取特征,并利用模型驱动、模板匹配和统计分类技术进行目标识别。但这些方法过度依赖人为设计和专家知识,限制了其在复杂环境中的应用。基于深度神经网络的SAR-ATR 具有高精度识别率、自动提取特征能力及强大适应性等优点［5］。Huang 等人提出一种物理启发的混合注意力机制挖掘SAR目标的深层反射特征［6］；Li等人提出一种结合目标散射特性与SAR 图像全局和局部信息的多尺度特征融合CNN 识别模型,增强目标识别的稳健性［7］。
上述研究是在完备的SAR 目标数据集展开,当现有SAR-ATR 模型遇见新类别样本时,若仅在新类别数据上训练模型,将导致模型对旧类别数据产生灾难性遗忘［8-10］。连续学习算法是解决SAR-ATR 模型上的灾难性遗忘问题的有效途径,Fu 等人提出一种经验重播（Experience Replay,ER）的方法,通过动态调节新旧样本的比例来适应特征分布的变化,从而增强模型在SAR 目标类别增量学习中的稳定性［11］；Ren等人通过样本回放增加模型的稳定性的同时,结合标签空间和嵌入空间的混合损失以确保能够持续地容纳新类别SAR目标［12］。
不同方位角域下的SAR 目标散射特性分布差异大,造成SAR-ATR 模型对未观测方位角域数据的泛化性不足［13-14］。Wang 等人提出一种类别-方位解耦元网络通过残差分解、互信息最小化、重构损失和语义标签约束将高分辨率距离像分解为类别和方位角两个不相关的表示,减缓识别性能受方位角变化的影响［15］。Tian 等人引入域感知模块区分已知和未知的方位角目标数据,并利用元网络快速适应不同方位角下的目标数据［16］。
在实际应用中,雷达难以一次性捕获目标所有方位角下的数据。当不同方位角下的目标数据以流的形式到来,仅在新观测数据上训练模型时,将导致模型对旧数据产生灾难性遗忘,严重影响性能。为应对SAR-ATR 模型因目标数据的方位角缺失导致的性能下降问题,本文提出了一种方位角自适应SAR-ATR 模型,通过Fisher 信息矩阵调节的正则项来保护对旧识别任务贡献大的参数,并通过核心集减小推理误差。主要贡献如下:
1） 通过Fisher 信息矩阵保护对识别任务贡献大的模型参数。这不仅减缓了灾难性遗忘,还增强了模型对未观测方位角域数据的泛化能力。
2） 通过核心集减小Fisher 信息矩阵的推理误差与平衡新旧任务数据间的特征。
在MSTAR 数据集上进行验证,方位角自适应SAR 目标识别连续学习模型实现在线学习新观测的SAR 目标数据,适应其特征变化,提高了SARATR 模型对未观测方位角SAR 目标数据的泛化性和识别精度。
1 相关内容
1.1 SAR-ATR模型
设SAR 图像数据集D =
中 第n 个SAR 样本xn ∈RW × H 的图像大小为W × H,类别标签为yn。SAR-ATR 神经网络模型由多层线性投影和非线性元素组成,该模型的学习载体为M 个神经元的权重和偏移等参数,记作θ。以Soft-max 层作为SAR-ATR 模型的输出层时,其输出为预测类别概率分布,满足ps ∈[0,1]且
,S为预测目标的类别数,则预测SAR目标类别的索引为
采用最小交叉熵损失在SAR 图像数据集D 上训练模型F(·),其总损失函数为
SAR-ATR流程如图1所示。
图1 SAR-ATR流程图
1.2 SAR目标数据观测
如图2所示,机载SAR 探测中,雷达平台沿圆弧、圆周、曲线等特殊航迹飞行。由于一次雷达观测任务难以获取目标的全方位角SAR 图像数据,我们将目标的全方位角域划分为T 个子方位角域。SAR 目标连续学习识别模型需要对T 个任务数据进行学习,第t 个任务的目标方位角域为
t = 1,…,T。第t 个任务的SAR目标图像数据为
图2 雷达多次观测任务示意图
式中,Nt为第t个任务中的训练样本数。
1.3 性能评估
1.3.1 平均精度
设at ∈[0,1]为对模型从任务1 连续训练到任务T 后,在任务t（1 ≤t ≤T）的对应测试集上的准确率,则T个学习任务后的平均准确率为
其中,AT越大表明分类器的性能越好。
1.3.2 遗忘程度
我们将任务的遗忘程度定义为在整个训练过程中模型对某一任务所获得的最大知识与其当前所拥有知识量的差异。对于一个分类问题,模型连续训练到任务T后,第t个任务的遗忘程度:
式中
通过对前面所有任务的遗忘程度进行归一化,模型在任务T上的平均遗忘量为
其中,QT 越小意味着模型对过去任务知识的遗忘量越少。
1.3.3 不妥协性
我们将不妥协性定义为模型无法学习新任务的程度。我们将模型从任务1连续训练到任务t在其测试集上的精度为
。初始化模型后在数据集上
训练模型,任务T 的测试集上的精度记为
。将模型在第T个任务上的不妥协定义为
其中,VT ∈[-1,1]越大表示模型学习新任务知识的能力越弱。
2 本文方法
设参数先验分布为p(θ),训练数据集D分布为p(D),参数似然分布为p(D|θ)。模型F(·)在SAR图像数据集D 上训练后的最大化参数θ 对数后验概率:argθ max log p(θ|D)。
根据贝叶斯准则,参数条件概率分布p(θ|D)的对数似然:
模型F(·)在数据D1 上训练收敛后,其网络参数为
模型F(·)继续在第二个方位角域的SAR目标数据D2 上训练,其网络参数后验概率对数似然函数log p(θ|D1:2)由式（8）得
由于后验概率log p(θ|D1)形式复杂,参数θ 维度高,难以求解。为实现模型的在线训练并保证计算可行性,本文采用基于泰勒展开的拉普拉斯近似方法,利用高斯分布簇对后验分布log p(θ|D1)进行逼近。
当
时
进行泰勒展开:
对式（10）取指数得
观察式（11）得
令代 替 式（11）中 的Hessian 矩阵
,能够提供更稳定的参数曲率的估计,则有
其中,N(·)表示高斯分布,分布期望为SAR-ATR 模型F(·)在初始方位角域的SAR目标数据D1上训练收敛的网络参数
；协方差矩阵为Fisher 信息矩阵的逆[I1]-1,[I1]-1 值越大表示参数θ 的重要性越高；通过Fisher 信息矩阵I1 对模型F(·)的网络参数θ进行重要性评估,即参数空间优化函数的曲率。
我们在初始方位角域的SAR目标数据D1上训练SAR-ATR 模型F(·)过程中,样本xn 的对数似然函数
为SAR-ATR 模型第i个参数θi 的梯度∇θLn(θi)。在数据D1 上,关于参数θi 的Fisher 信息矩阵I1:
假定SAR-ATR 模型F(·)各个网络参数之间相互独立,Fisher 信息矩阵I1 则为对角阵。模型F(·)中网络参数θi的后验概率为
模型F(·)网络参数θ的后验概率由式（16）得
式（16）代入式（9）得
式中,log p(D2)为模型F(·)在数据D2 上训练过程中的常数项。
令p(θ|D1:2) 替 换 为 总 优 化 函 数L1:2(θ|D1:2),log p(D2|θ)替换为式（2）,加入超参数λ对SAR-ATR模型F(·)的稳定性-可塑性进行权衡。此外,为了减轻Fisher 矩阵的估计误差同时平衡新旧任务数据间的特征,利用K-means 算法以5%的比例在SAR 目标数据D1 选出核心集C1 并进行回放。则模型FFisher-Core(·)关于数据D2的总损失函数为
随着任务数的增多,模型FFisher-Core(·)需要为每个任务独立存储Fisher 信息矩阵,而SAR-ATR 模型的网络有数百万个参数,并且为了估算Fisher信息矩阵,需要对每个任务的SAR 目标数据进行额外的传递计算,这在实际操作中是不可行的。因此,我们在模型的训练过程中仅保存单个对角Fisher 信息矩阵,并采用移动平均的方法对矩阵进行有效更新:It =(It - 1 + It) / 2。
方位角自适应SAR 目标连续学习识别模型FFisher-Core(·)关于任务t的总损失函数为
其中,LCE,t(θ)为在模型FFisher-Core(·)在数据Dt上训练的无正则项损失函数,与数据Dt 的学习程度呈正相关；正则项
使模型在学习数据Dt 时,不会对关于过去方位角域的SAR 目标数据D1:t - 1 的重要参数进行过大的调节；λ 为已训练数据D1:t - 1 与新数据Dt 之间的权重因子,数据D1:t - 1对模型参数越重要,λ值越大。
方位角自适应SAR 目标连续学习识别模型框架如图3所示,其实现如算法1所示。
图3 方位角自适应SAR目标识别模型框架
算法1: 方位角自适应SAR目标连续学习识别模型
1. 初始化SAR-ATR模型FFihser-Core(·),C0 ←∅
2. for t = 1,2,…,T do
3. 接收下一次任务数据Dt
4. 根据式（20）在数据Dt 和C1:t - 1 上训练模型;根据式（14）、式（19）更新Fisher信息矩阵It
5. 在数据Dt中筛选出核心集Ct
6. 更新t
7. end
3 实验与分析
本实验以Resnet-101 作为SAR-ATR 模型F(·),输入100 × 100 像素的SAR 目标灰度图像。每个训练阶段,模型以0.001 的学习率、批次大小为32 进行100 次训练,采用Adam 优化器优化所有模型。所有实验在Python 环境中通过PyTorch 实现,运行于配备Intel I9-13900HX 处理器和NVIDIA RTX 4090 GPU的电脑上。
3.1 实验数据
实验数据采用美国国防高级研究计划署公布的MSTAR 数据集。MSTAR 数据集通过机载SAR采集得到,其分辨率为0.3 m × 0.3 m,图片像素为100 × 100,共分为10 类目标:2S1, BRDM_2,BTR60,D7,SN_132,SN_9563,SN_C71,T62,ZIL131,ZSU23。将SAR 目标图像数据按照方位角域[0°,90°),[90°,180°), [180°,270°),[270°,360°)分为D1,D2,D3,D4 4 个任务,并采用SMOTE 进行数据扩充,其训练与测试数据分布如表1所示。
表1 以方位角域划分的训练和测试数据分布
类别2S1 BRDM_2 BTR60 D7 SN_132 SN_9563 SN_C71 T62 ZIL131 ZSU234方位角［0°,90°）训练300 300 300 300 300 300 300 300 300 300测试71 72 68 70 65 65 59 72 72 72［90°,180°）训练300 300 300 300 300 300 300 300 300 300测试74 73 68 82 42 46 46 74 74 73［180°,270°）训练300 300 300 300 300 300 300 300 300 300测试79 80 60 68 40 45 45 80 80 80［270°,360°）训练300 300 300 300 300 300 300 300 300 300测试75 73 60 79 59 46 71 72 73 74
3.2 实验内容与分析
本实验以传统模型FBasic(·)、基于L2范数正则化模型FL2(·)、基于经验回放策略模型FER(·)、方位角自适应SAR 目标连续学习识别模型FFisher-Core(·)及无核心集回放的模型FFisher(·)进行对比分析。
1） 不同方位角域识别性能分析
本实验旨在评估方位角自适应SAR 目标识别连续学习模型FFisher-Core(·)对不同方位角域下SAR目标数据的识别性能。
图4（a）～（d）为各个模型分别在4 个方位角域测试数据上的表现,从左至右的虚线划分出4个训练阶段。当SAR-ATR 模型在方位角域[0°,90°)任务上训练后,所有模型在对应测试集上均表现出色,但在其他方位角域上识别精度显著下降。这是由于SAR 目标图像特征对方位角高度敏感,SAR-ATR对新观测角域数据的泛化性不足。
图4 不同方位角域数据的识别性能对比图
如图5所示,模型FBasic(·)（图5 中蓝线）的表现最差,由于缺乏缓解灾难性遗忘的策略,仅在当前训练的方位角域数据上表现良好。模型FL2(·)（图5 中绿线）在第二个任务的学习中,整体平均精度有所提升,随后出现性能下降。这是由于模型FL2(·)对识别任务贡献大的关键参数保护力度不足,导致对历史数据特征产生了遗忘。随着学习任务的进行,模型FL2(·)参数过度正则化,不妥协性增加,限制了其在新任务上的学习。模型FER(·)（图5中黄线）在不同方位角域数据的连续学习中,平均精度明显提升,在第四个任务中识别精度轻微下降。这是由于其样本的存储数量有限,难以涵盖已观测方位角域的SAR 目标数据特征,导致模型FER(·)对历史数据特征的遗忘加深。模型FFisher-Core(·)（图5 中红线）的性能最佳,随着对不同方位角域数据的连续学习,平均精度持续上升。模型FFisher-Core(·)通过Fisher信息矩阵自适应地保护对历史识别任务贡献大的参数,避免其对非相关参数的正则化,从而有效对历史数据遗忘的同时,弱化模型的不妥协性。相较FFisher(·)模型（图5 中紫线）,能够通过核心集回放,减小Fisher信息矩阵的推理误差,进一步缓解其对历史任务的遗忘。
图5 在线学习性能对比图
2） 超参数λ的影响分析
本实验旨在探究超参数λ 对方位角自适应SAR 目标连续学习识别模型FFisher-Core(·)在线连续学习识别性能影响。
如表2所示,随着λ 的增大,模型FL2(·)与模型FFisher-Core(·)保护模型参数的力度加强,遗忘程度逐渐降低,不妥协性逐步增加。然而,当λ 在1 和20之间时,模型FFisher-Core(·)的平均识别精度最高。适当的λ 值选取,可以使得SAR-ATR 模型缓解遗忘的同时更好地学习到SAR 目标图像中的细微特征。并且模型FFisher-Core(·)相比于模型FL2(·)的超参数λ 敏感性更低。这是由于Fisher 信息矩阵可以根据已学习任务中的SAR 目标数据,自适应地保护对识别任务贡献大的模型参数,确保了模型FFisher-Core(·)较低的遗忘率与不妥协性。
表2 超参数λ对性能影响对比表
方法Basic ER L2 Fisher-Core超参数重播率λ = 1 λ = 10 λ = 20 λ = 30 λ = 1 λ = 10 λ = 20 λ = 30性能D1 46.8%78.9%47.1%51.4%52.1%53.0%87.7%87.9%88.0%88.1%D2 59.4%77.4%67.6%68.2%68.9%68.6%89.1%89.4%89.6%89.6%D3 64.1%87.3%72.3%72.2%72.8%73.0%92.3%93.3%93.0%93.1%D4 95.3%95.0%93.4%93.1%92.9%92.7%95.0%95.0%94.8%94.8%A4 66.5%84.6%70.2%71.4%71.5%71.7%92.1%92.7%92.6%92.6%Q4 38.7 15.8 34.7 30.6 29.9 29.4 6.6 6.4 6.3 6.2 V4 1.2%1.3%3.3%3.5%3.8%4.0%2.0%2.1%2.3%2.3%
3） 不同方位角域任务数据到达顺序的影响分析
本实验旨在探究不同方位角域任务数据到达顺序对方位角自适应SAR 目标连续学习识别模型FFisher-Core(·)的性能影响。连续学习3 个不同方位角域的SAR 目标任务数据,采用6 种不同的到达顺序,具 体为:{（D1,D2,D3）,（D2,D1,D3）,（D3,D1,D2）,（D1,D3,D2）,（D2,D3,D1）,（D3,D2,D1）}。
结果如图6所示,图6（b）～（g）横轴为不同方位角域数据的到达顺序,纵轴为对应方位角域的测试数据。当模型FFisher-Core(·)连续学习3个任务数据后,优先学习任务D2 的整体识别精度高于先学习任务D1 和D3,如图6（a）所示。这是由于模型在方位角域[90°,180°)的SAR 目标数据D2 上学习到了方位角域[0°,90°)和[180°,270°)的部分SAR 目标特征。在连续学习任务中,不同方位角域数据的到达顺序会显著影响模型FFisher-Core(·)的整体识别精度,这是由于模型FFisher-Core(·)在学习新观测方位角域的SAR 目标数据时都会根据模型参数对历史SAR 目标数据任务的贡献度对重要参数进行约束,当历史学习的数据与新学习的数据相关性较高时,模型FFisher-Core(·)更容易保留历史学习的数据特征,从而在历史数据上表现更好。
图6 不同方位角域数据到达顺序的性能对比图
4） 通用性实验
本实验通过在MLP、VGG-19 和ResNet-101 三种模型上,对不同方位角的SAR 目标数据进行连续学习,旨在评估方位角自适应SAR 目标识别算法的通用性和有效性。
如表3所示,连续学习算法在3 个基础SARATR 模型上展现了稳定的表现,证明了其良好的通用性和有效性。
表3 3种识别模型上的在线学习性能
模型MLP VGG-19 Resnet-101性能指标/%D1 84.3 85.3 87.7 D2 86.6 88.2 89.1 D3 89.1 90.9 92.3 D4 91.4 92.7 95.0 A 88.7 90.4 92.1 Q 6.5 6.1 6.6
4 结束语
本文旨在应对SAR-ATR 模型对未观测方位角域的SAR 目标数据泛化性不足问题,提出了一种方位角自适应SAR 目标连续学习识别模型。模型采用在线学习的方法,当学习新观测方位角域的SAR 目标数据时,利用Fisher信息矩阵自适应的正则化对历史识别任务贡献大的重要参数,限制其变化,从而缓解对历史数据特征的遗忘。同时,通过核心集回放减小Fisher信息矩阵估计误差,平衡新旧数据特征,提升模型对不同方位角域数据的自适应能力。
本文以方位角域划分的MSTAR 数据对方位角自适应SAR 目标连续学习识别模型进行实验验证,模型FFisher-Core(·)仅需在线学习新观测方位角域的SAR 目标数据,就能适应其特征变化,提高了SAR-ATR 模型对未观测方位角域数据泛化性,为实际动态的应用场景下的SAR 目标识别提供了有力支持。
接下来将在以下方面进行更深入的研究与探索:
1） 方位角自适应SAR目标连续学习识别模型FFisher-Core(·)性能面对在不同方位角域SAR 目标数据任务训练顺序的敏感性的克服。
2） 进一步减轻模型FFisher-Core(·)对学习SAR 目标数据特征的遗忘,增加对新方位角域SAR 目标数据学习的有效性。
［1］ YANG Ying, ZHU Weigang, LI Jiaxin. A Review of SAR Images Target Recognition Based on Few-Shot［C］//The 2nd International Conference on Electronic Materials and Information Engineering,Hangzhou, China:VDE, 2022:1-5.
［2］ DING Baiyuan, ZHANG Ao, LI Rui. A 3-D Scattering Centre Model-Based SAR Target Recognition Method Using Multi-Level Region Matching［J］. Remote Sensing Letters, 2024, 15（3）: 215-223.
［3］ ZHANG Xianghui, FENG Sijia, ZHAO Chenxi, et al.MGSFA-net: Multiscale Global Scattering Feature Association Network for SAR Ship Target Recognition［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2024, 17:4611-4625.
［4］ 景鑫磊,张宇,蒋忠进.基于频域信息融合和稀疏贝叶斯学习的高分辨ISAR成像［J］.雷达科学与技术,2023,21（5）:489-497.
［5］ LI Jianwei, YU Zhentao, YU Lu, et al. A Comprehensive Survey on SAR ATR in Deep-Learning Era［J］. Remote Sensing, 2023, 15（5）:15051454.
［6］ HUANG Zhongling, WU Chong, YAO Xiwen, et al. Physics Inspired Hybrid Attention for SAR Target Recognition［J］. ISPRS Journal of Photogrammetry and Remote Sensing, 2024（1）:164-174.
［7］ LI Yi, DU Lan, WEI Di. Multiscale CNN Based on Component Analysis for SAR ATR［J］. IEEE Trans on Geoscience and Remote Sensing, 2022, 60:5211212.
［8］ LIU Bing. Lifelong Machine Learning: A Paradigm for Continuous Learning［J］. Frontiers of Computer Science,2017, 11（3）:359-361.
［9］ LEO J, KALITA J. Survey of Continuous Deep Learning Methods and Techniques Used for Incremental Learning［J］. Neurocomputing, 2024, 582:127545.
［10］ KIRKPATRICK J, PASCANU R, RABINOWITZ N, et al. Overcoming Catastrophic Forgetting in Neural Networks［J］. Proceedings of the National Academy of Sciences of the United States of America, 2017, 114（13）:3521-3526.
［11］ FU Yimin, LIU Zhunga, WU Changyuan, et al. Class-Incremental Recognition of Objects in Remote Sensing Images with Dynamic Hybrid Exemplar Selection［J］. IEEE Trans on Aerospace and Electronic Systems, 2024, 60（3）:3468-3481.
［12］ REN Haohao, DONG Fulu, ZHOU Rongsheng, et al. Dynamic Embedding Relation Distillation Network for Incremental SAR Automatic Target Recognition［J］. IEEE Geoscience and Remote Sensing Letters, 2024, 21:1-5.
［13］ DANG Sihang, CAO Zongjie, CUI Zongyong, et al. Class Boundary Exemplar Selection Based Incremental Learning for Automatic Target Recognition［J］. IEEE Trans on Geoscience and Remote Sensing, 2020, 58（8）:5782-5792.
［14］ 文贡坚,朱国强,殷红成,等.基于三维电磁散射参数化模型的SAR 目标识别方法［J］.雷达学报,2017,6（2）:115-135.
［15］ WANG Yanhua, MA Yunchi, ZHANG Zhilong, et al.Type-Aspect Disentanglement Network for HRRP Target Recognition with Missing Aspects［J］. IEEE Geoscience and Remote Sensing Letters, 2023, 20:3509305.
［16］ TIAN Long, CHEN Bo, CHEN Wenchao, et al. Domain-Aware Meta Network for Radar HRRP Target Recognition with Missing Aspects［J］. Signal Processing, 2021（10）:108167.