呼吸是人体重要的生理参数。通过人体呼吸方式能够判断人体生理状态是否健康,同时,对呼吸的研究在睡眠质量评估、睡眠安全监测、心血管系统反馈调节[1]、慢性呼吸系统疾病防控[2]等领域具有重要意义。
呼吸疾病的发生往往伴随呼吸频率与深度的异常[2],所以只需要监测呼吸频率与深度的变化,即可大致确定呼吸疾病种类。目前,非接触式呼吸监测手段主要包括视频[3]、红外[4]和电磁波[5]。其中视频会涉及用户隐私问题,红外会受热源因素影响,而电磁波技术不易受到环境因素影响[6],且不侵犯用户隐私,更加适合人体生命体征监测。其中FMCW 雷达具有发射功率低、尺寸小、成本低等优点。因此,本文采用FMCW雷达监测呼吸。
近年来,基于毫米波雷达的呼吸、心跳信号提取技术已经非常成熟,这也为后续应用奠定了基础。文献[7]使用毫米波雷达监测呼吸,并提出了一种基于小波信息熵的呼吸暂停检测方法,可有效检测呼吸暂停事件,但该算法的抗干扰性能较差[8]。文献[9]将支持向量机(SVM)算法用于雷达数据处理,准确率达到了79.5%。但通过机器学习算法需要人工选定特征,过程过于繁琐,且分类精度并不理想。文献[10]提出一种基于1DCNN网络从心电图(ECG)信号中检测呼吸暂停的方法,识别准确度达到了99.56%。
目前,已有文献[11]证明同时使用心电设备与雷达设备检测的体征信号具有强相关性,可以推测,将深度学习算法用于雷达信号分类,同样可以获取较好的效果。因此,本文提出一种基于1DCNN 结合LSTM 网络的呼吸模式分类方法。方法以雷达检测数据作为输入,通过相位解卷绕、带通滤波算法得到较为纯净的呼吸信号,并通过快速傅里叶变换(FFT)、小波变换(CWT)分析呼吸信号的频域特征,然后依据特征信息为呼吸数据打标签形成数据集,最后通过数据集训练神经网络获得分类模型,并与其他神经网络模型进行对比,本模型的准确度可达99.76%。
调频连续波雷达接收目标反射信号后需要通过混频器获得较为容易处理的中频信号。其处理原理如图1所示,其中雷达发射信号方程的复指数形式如式(1)。
图1 雷达发射、回波信号与中频信号时频图
式中Tx(t)为发射信号,fc 为线性调频信号的起始频率,B为线性调频信号的带宽,T为线性调频信号一个雷达波(Chirp)维持的时间。由于受D 处人体呼吸运动的影响,由式(1)可推得,回波信号Rx(t)可由式(2)进行表示。其中延时t0=2D/c(c为光速)。
在雷达接收机中,雷达发射信号与接收信号进行混频,再通过滤波得到中频信号。中频信号可由式(3)进行表示。
式中λ为雷达发射信号的波长。通过式(3)可以看出,FMCW 雷达是通过测量距离雷达D处雷达回波的相位变化来反映微动的。式(4)为胸腔运动距离与相位变化的关系,当目标的胸腔在单元范围内位移△D 时,相位变化△φ。此文使用的毫米波雷达波长为12.5 mm,当胸腔位移3 mm 时,对应相位变化为π。
雷达直接获取呼吸信号会存在噪声、卷绕等问题,需要通过预处理,转换为适合深度学习模型处理的形式。首先,通过雷达获取由人体呼吸引起的相位变化信号,输出频率为20 Hz。直接通过计算机获取相位会存在相位卷绕问题,如图2(a)为解卷绕前波形,通过解卷绕算法可转换为图2(b)的形式。对雷达信号的预处理流程如图3所示。
图2 解卷绕前后波形图
图3 雷达数据处理流程
解卷绕后的雷达信号包含噪声信号、呼吸信号、心跳信号,为避免噪声与心跳信号对提取呼吸特征的影响,本文采用一个巴特沃斯带通滤波器对信号进行滤波,成年人呼吸频率范围一般在6~30 次/分钟,婴儿最高可到44 次/分钟[12],故通带可设置为0.1 Hz至0.8 Hz,滤波结果将于第2节展示。然后,需要对呼吸信号进行特征分析,判断信号所属呼吸模式,分析过程将于第2节介绍。最后,对5种不同呼吸模式信号进行过采样,如图3的步骤5,使用12.8 s 的固定滑窗对信号进行截取,步长为1 s,并为5 类数据打标签(0 到4),最终可得到如图3最后一步所展示的数据集。
为数据打标签需要判断信号所属的呼吸模式,本文主要通过呼吸信号的幅度与频率特征进行区分,对于频率提取,共探讨两种算法:快速傅里叶变换(FFT)、连续小波变换(CWT)。
1)快速傅里叶变换(FFT)
FFT可以将信号分解为不同频率分量,是离散傅里叶变换的一种快速算法,能通过峰值搜索确定呼吸频率,并可以很好地部署在实时系统中。在此文中,FFT 用来确定呼吸信号不同频率分量,通过峰值搜索确定呼吸频率。FFT 比较适合呼吸频率和幅度较为稳定的信号,当出现异常呼吸时,FFT 则无法准确反映呼吸频率。连续小波变换则能解决这一问题。
2)连续小波变换(CWT)
小波的性质可以概括如下:
通过母小波ψ(t)的伸缩与平移变换可以产生一个小波族,可以由下式表示:
式中u,s 均为常数,且s>0。信号x(t)可以映射到WTx(s,u)的二维系数中,并能够进行时频分析。如果x(t)为平方可积信号,设Ψ(w)为ψ(t)的傅里叶变换,当
则小波反变换可表示为
为防止呼吸特征提取不足,而导致呼吸模式判断错误,CWT 与FFT 将共同用于呼吸信号频谱的提取,信号FFT与CWT的结果将在第2节展示。
人体在不同生理和病理状态下会产生不同的呼吸幅度和呼吸频率,从而形成不同的呼吸模式。例如,深呼吸和浅呼吸是由于呼吸幅度的不同引起的,呼吸过缓与呼吸过速是由于呼吸频率不同引起的。本文共研究5 种呼吸模式:正常呼吸、呼吸过速、呼吸过缓、呼吸深大和呼吸暂停。
1)正常呼吸
正常呼吸的幅度与频率都比较稳定,在安静状态下,成年人呼吸频率一般在12~20 次,对应呼吸频率为0.2~0.33 Hz,且呼吸幅度平稳。由图4可以看出实验者呼吸幅度比较平稳,通过图5(a)的FFT图谱与图5(b)的CWT图谱可以看出,呼吸频率约为0.22 Hz,对应13次/分钟(与自测相同)。
图4 正常呼吸滤波后波形图
图5 正常呼吸的FFT与CWT频谱图
2)呼吸过速
呼吸过速指呼吸频率超过24 次/分钟,且呼吸频率、呼吸幅度比较稳定。常见于发热、脑炎、脑干损伤、慢性阻塞性肺疾病、肺水肿等疾病,同时剧烈运动、情绪激动也会导致呼吸过速。实验者模拟的呼吸过速波形如图6 所示,呼吸幅度平稳,由图7(a)的FFT 图谱可以看出,实验者的呼吸频率约为0.55 Hz,对应33 次/分钟(与实验者自测相同),由图7(b)的CWT 图谱可以看出呼吸频率比较平稳,属于呼吸过速。
图6 呼吸过速滤波后波形图
图7 呼吸过速FFT与CWT频谱图
3)呼吸过缓
呼吸过缓是指呼吸频率低于12 次/分钟,常见于颅内压增高、巴比妥类药物中毒等。如图8 所示,实验者模拟的呼吸过缓呼吸幅度平稳,由图9(a)与(b)的图谱可以看出,实验者的呼吸频率约为0.11 Hz,对应6~7 次/分钟(与自测相同),小于12次/分钟,属于呼吸过缓。
图8 呼吸过缓滤波后波形图
图9 呼吸过缓FFT与CWT频谱图
4)呼吸深大
深度呼吸是一种深而规则的大呼吸,常见于糖尿病酮症酸中毒和尿毒症酸中毒等疾病。实验者模拟的呼吸深大的波形如图10 所示。通过图11(a)的FFT 图谱与图11(b)的CWT 时频图可以看出实验者呼吸频率稳定,但由图11 可以看出滤波后的呼吸幅度普遍在5 左右,要远大于其他几种(普遍在3 左右)呼吸模式的幅度,属于呼吸深大模式。
图10 深呼吸滤波后波形图
图11 深呼吸FFT与CWT频谱图
5)呼吸暂停
实验者模拟了较为常见的中枢性睡眠呼吸暂停,如图12所示,对应特征是每次呼吸暂停持续时间至少10 s,胸腔起伏减弱甚至停止。从图13(a)的FFT 频谱图可以看到呼吸频率分量的峰值有两个很接近,无法判断正确的呼吸频率,且出现呼吸暂停时,呼吸频率应该为零,但FFT 无法正确反映,可见FFT 并不适合类似于呼吸暂停的异常呼吸模式的频率计算。从图13(b)的CWT 的时频图则可以明显看到正常呼吸对应的呼吸频率与呼吸暂停发生的时间(中间红框图为正常呼吸时间,两侧为呼吸暂停发生时间)。
图12 呼吸暂停滤波后波形图
图13 呼吸暂停FFT与CWT频谱图
1)方法概括
为获取更优的呼吸模式分类方法,本文搭建3种不同组合的网络模型,并使用预处理后的数据集训练模型。雷达数据预处理已经将5 种呼吸数据划分到12.8 s的固定窗口中,并为每种呼吸模式数据分配了标签。将数据集分别输入到3 种网络中训练,通过3种网络模型的训练精度与验证精度来判断模型的优劣。
2)网络模型搭建
本文共搭建3 种不同的神经网络模型:(1)全采用密集连接网络(DNN)模型记为M1;(2)全采用1DCNN 的模型记为M2;(3)本文提出的1DCNN+LSTM 网络模型记为M3。图14 详细描述了M3的结构信息,卷积层共有两层,分别含有32、64 个通道,对应卷积核大小(滤波器)分别为5 与3,卷积核的步幅设置都为1。M2 方案共包含两个卷积层和一个由全连接层构成的输出层,激活函数配置与M3 方案相同。M1 的网络模型共包含两个隐藏层、一个输出层。表1 列出了3 种神经网络架构的完整摘要。为保证3种网络模型的可比性,输入层保持一致,中间层的通道结构保持一致,激活函数保持一致。M2 与M3 的中间层含有卷积层,池化层则都选用最大池化。本文提出的M3 特征层使用LSTM 层,M1 与M2 使用相同结构的全连接层。
表1 不同网络结构参数
方法池化层特征层DNN标准化层Batch 无全连接层(5)CNN CNN+LSTM Batch Batch中间层两个全连接层(32,64)两个卷积层(32,64)两个卷积层(32,64)最大池化最大池化全连接层(5)LSTM(64)全连接层(5)激活函数中间层(ReLU)输出层(Softmax)中间层(ReLU)输出层(Softmax)中间层(ReLU)输出层(Softmax)
图14 1DCNN+LSTM 网络模型
1)实验硬件
如图15 所示,本文采用国产(矽典微)24 GHz调频连续波雷达,雷达主要包含两个器件,微处理器(MCU)和一发两收的天线。雷达具体配置如表2所示。
表2 雷达配置信息
配置参数带宽起始频率Chirp周期帧周期每帧Chirp数采样频率参数值4 GHz 2.35 GHz 710 μs 50 ms 1 2.5 MHz
图15 雷达硬件
2)数据采集
本文共采集了4 名志愿者的5 种呼吸模式,其中2 名男性,2 名女性,年龄(23±2)岁。每位志愿者都经过一定训练,按照第2 节中各种呼吸模式的特征,尽可能模拟出每种呼吸模式的真实情况。每位志愿者模拟的每种呼吸模式都需采集3 125 组数据(每组数据包含256 点,12.8 s),3名志愿者共计采集62 500 组数据。如表3 所示,62 500 组数据按照8∶1∶1 的比例分为训练集、验证集与测试集。
表3 数据集分配
数据集训练集验证集测试集正常呼吸10 000 1 250 1 250呼吸过速10 000 1 250 1 250呼吸过缓10 000 1 250 1 250呼吸深大10 000 1 250 1 250呼吸暂停10 000 1 250 1 250
使用数据集对搭建的3种网络模型进行训练。由图16可以看到,M1模型的训练精度大约在第50轮达到了77%的训练准确度,但验证准确度始终在70%左右。由图17 可以看出M2 模型大约在第25 轮达到了95%的训练准确度,验证准确度在80%~100%之间波动。由图18 可以看到,本文提出的M3网络模型在大约第5轮就达到了99%的训练准确度,验证准确度也多集中在99%左右。3种网络模型最终训练准确度、训练损失、验证准确度、验证损失如表4所示。
表4 训练结果
指标训练准确度验证准确度训练损失验证损失DNN 0.787 0.710 0.281 2 0.320 8 CNN 0.960 0.900 0.092 6 0.089 1 CNN+LSTM 0.996 0.996 0.080 4 0.081 1
图16 DNN网络模型训练结果
图17 CNN模型训练结果
图18 1DCNN+LSTM 模型训练结果
由训练结果可以看出M3 模型的准确度最高,为验证M3 模型的泛化能力,本文使用测试集来测试M3模型。测试结果如图19所示的混淆矩阵,可见M3 模型对新数据依然能够保持99.76%的平均分类准确率。通过混淆矩阵可以看到,有0.32%的呼吸过速信号和0.88%的呼吸过缓信号被误判成了正常呼吸信号,这是由于3种信号只有频率上的差异,在信号处于正常与非正常的呼吸模式之间时,模型有可能出现误判情况。
图19 1DCNN+LSTM 模型数据测试混淆矩阵
由于M1 模型结构比较简单,提取的呼吸特征较少,所以很难实现对5种呼吸模式的高准确度分类。M2 模型的每层通道数与M1 相同,由于卷积神经网络提取特征的能力更强,所以在通道数相同的条件下M2 的准确度要远好于M1。LSTM 网络在处理长时间序列时具有明显的优势,能够允许之前的信息重新进入,从而解决梯度消失问题,呼吸信号就是一种时间序列,且前后数据之间的特征关联对呼吸模式的分类特别重要,所以在M2网络之后添加LSTM 网络能够显著提高分类准确度。
表5 展示了本文方法与其他现有方法在分类准确度与分类种类上进行了对比,可以看出本文方法可以实现更多种呼吸模式的分类,且分类准确度要优于现有方法。
表5 现有基于雷达呼吸模式识别方法与本文方法对比
方法Koda T[9]Na D[13]Seong-Hoon[14]本文呼吸模式类别数2 2 4 5平均准确度/%79.5 92.5 94.8 99.76
本文提出了一种基于1DCNN+LSTM 网络的多呼吸模式分类方法。为得到特征更加明显的呼吸信号,本文首先通过解卷绕、高阶带通滤波算法处理原始雷达信号。最后设计实验,对3种不同的网络模型的训练准确度和验证准确度进行比较,为验证本方法的适应性,本文采用新数据对模型进行测试。由实验结果可以看出,本文方法可以高精度地对5 种呼吸模式进行分类。目前本文只研究了5种呼吸模式,由疾病引起的特定呼吸模式还有许多,如潮式呼吸、潮式呼吸变体,这些呼吸模式的特征往往比较复杂,因此,后续工作会探索更为合适的模型来处理这些复杂的呼吸模式,进行更高精度的呼吸模式分类。
[1]缪冬玉.基于连续波雷达的呼吸模式分类技术研究[D].南京:南京理工大学,2017.
[2]姜潇,丛舒,杨淼,等.中国居民慢性呼吸道症状流行情况及其影响因素分析[J].中华流行病学杂志,2022,43(3):315-323.
[3]FÖLDESY P,ZARÁNDY Á,SZABÓ M.Reference Free Incremental Deep Learning Model Applied for Camera-Based Respiration Monitoring[J].IEEE Sensors Journal,2020,21(2):2346-2352.
[4]MATEU-MATEUS M,GUEDE-FERNANDEZ F,GARCIAGONZALEZ M A,et al.Non-Contact Infrared-Depth Camera-Based Method for Respiratory Rhythm Measurement While Driving[J].IEEE Access,2019,7:152522-152532.
[5]IMPHAIBOON P,KITTIPIYAKUL S,KAEMARUNGSI K,et al.Effect of Obstacle Attenuation on Human Respiratory Detection Using IR-UWB Sensor[C]//2021 9th International Electrical Engineering Congress,Pattaya,Thailand:IEEE,2021:563-566.
[6]丁晨旭,张远辉,孙哲涛,等.基于FMCW 雷达的人体复杂动作识别[J].雷达科学与技术,2020,18(6):584-590.
[7]祁富贵,张华,李盛,等.一种基于小波信息熵的非接触呼吸暂停检测技术研究[J].医疗卫生装备,2015,36(4):1-4.
[8]张鹏飞.基于生物雷达的非接触睡眠状态监测技术的初步研究[D].西安:第四军医大学,2013.
[9]KODA T,SAKAMOTO T,OKUMURA S,et al.Radar-Based Automatic Detection of Sleep Apnea Using Support Vector Machine[C]∥2020 International Symposium on Antennas and Propagation,Osaka,Japan:IEEE,2021:841-842.
[10]JOHN A,CARDIFF B,JOHN D.A 1D-CNN Based Deep Learning Technique for Sleep Apnea Detection in IoT Sensors[C]∥2021 IEEE International Symposium on Circuits and Systems,Daegu,Korea:IEEE,2021:1-5.
[11]TSAI Y C,LAI S H,HO C J,et al.High Accuracy Respiration and Heart Rate Detection Based on Artificial Neural Network Regression[C]∥2020 42nd Annual International Conference of the IEEE Engineer-ing in Medicine & Biology Society,Montreal,QC,Canada:IEEE,2020:232-235.
[12]吕兴凤,李金宝.一种利用随机森林方法检测睡眠呼吸暂停的研究[J].北京邮电大学学报,2020,43(5):64-70.
[13]DU Na,LIU Kewen,GE Linfei,et al.ApneaRadar: A 24GHz Radar-Based Contactless Sleep Apnea Detection System[C]∥2017 2nd International Conference on Frontiers of Sensors Technologies ,Shenzhen,China: IEEE,2017:372-376.
[14]KIM S H,HAN G T.1D CNN Based Human Respiration Pattern Recognition Using Ultra Wideband Radar[C]∥2019 International Conference on Artificial Intelligence in Information and Communication,Okinawa,Japan:IEEE,2019:411-414.
Research on Respiratory Pattern Classification Technology Based on FMCW Radar
漆 晶 男,1983 年生于江西省宜丰县,博士,重庆邮电大学通信与信息工程学院副教授,主要研究方向为自供能技术、短距离无线通信技术、图像识别、毫米波雷达识别及应用。
谢广智 男,1996 年生,山东菏泽人,现为重庆邮电大学硕士研究生,主要研究方向为雷达信号处理算法、深度学习。