森林小面积火灾烟雾增强识别仿真
时间:2023-04-14 16:25:12 来源:柠檬阅读网 本文已影响 人
杨鸿雁,周汝良,王艳霞
(西南林业大学地理与生态旅游学院,云南 昆明,650224)
森林资源状态与人们息息相关,当森林发生火灾时,动植物的生命受到严重威胁,生态结构被破坏,直接影响人类生活环境和经济,甚至威胁人们的生命健康[1,2]。而森林火灾突发情况较多,蔓延快、范围广,难以控制,发生过火灾的森林系统恢复时间长[3],因此预防森林火灾和及时发现与控制森林火灾是亟待解决的问题。传统防治森林火灾依靠人工巡查,效率低,受主观因素影响大;
卫星监控延迟时间长,不能有很好的时效性,耽误森林火灾最佳救援时间,且投入成本过大,经济性较低。现代森林火灾防治技术不断提高,可通过传感器识别检测早期森林火灾,但时效性也不好。森林火灾发生初期最重要的特征就是烟雾的出现,并且火灾的发生往往是从点到面、由小到大。如果能对早期森林小面积火灾烟雾进行检测识别,即可对森林火灾进行及时处理,以免酿成大祸。
计算机发展速度越来越快,图像处理技术也随之成熟[4],若应用在森林火灾监控方面也能够发挥其响应速度快、智能化程度高的优势。通过视频实时监测森林,使用算法检测识别烟雾,为防治林火提供有力保障。袁雯雯曾提出使用混合高斯模型进行烟雾识别[5],该算法计算较复杂,系统稳定性差,响应时间长且抗噪性能差。卫鑫提出使用深度卷积神经网络实现火灾烟雾检测[6],但该方法运算模式较冗余,模型缺少记忆功能,需要大量训练样本,效率低。以上两种算法识别小目标性能均不足,不适用于识别森林小面积火灾烟雾,不能满足时效性要求。为了满足小面积火灾烟雾识别要求,本文提出基于YOLOv3算法的森林小面积火灾烟雾识别方法,实现防治林火的目的。
2.1 分形特征提取
火灾烟雾具有形状和运动不规则的特点[7,8],引入分形概念、构建分形模型可实现烟雾的分形计算。若随机过程X(t)满足以下两个条件,即可得到分数布朗随机场[9],该随机场分布于概率空间。
1)概率为1时X(0)=0,X(t)连续。
2)t≥0,Δr>0,增量X(t+Δr)-X(t)为正态分布,均值为0,方差Δr2H,计算过程如下
P(X(t+Δr)-X(t)≤x)
(1)
其中P表示概率密度函数,H为指数,表达图像分形特征,取值范围在[0,1]内。烟雾图像的分形维数特征通过随机场计算,设图像为I,任一位置的灰度值为I(i,j),则有以下关系
E(|I(i+Δi,j+Δj)-I(i,j)|)
(2)
E(IΔr)=k·ΔrH
(3)
两边同时取对数得
log(E(IΔr))=H·log(Δr)+c
(4)
由上述内容可求出指数H,也叫赫斯特指数,进而确定烟雾图像的分形维数,为增强森林小面积火灾烟雾图像打下基础。
2.2 纹理特征
分形特征仅能通过火灾烟雾外形判断火灾情况,图像纹理特征可以通过特征灰度值的差异有效体现纹理空间结构差异,为此结合分形特征和纹理特征共同识别火灾烟雾,图像纹理特征是一种固有性质[10],重要但难以被描述。本文通过小波变换进行纹理特征提取,实现更好的森林小面积火灾烟雾识别。
令基本小波为ψ(t),其产生的小波计算公式见式(5)
(5)
其中a与b分别描述伸缩因子和平移因子。令可容性条件用Cψ描述,ψ(t)需满足Cψ
(6)
其中ψ(w)表示ψ(t)的傅里叶变换。满足上述条件的函数经过变换即得到小波。连续小波变换定义见式(7)
(7)
(8)
f(t)的离散小波变换Wf(j,k)计算式见式(9)
(9)
二维小波变换可看作二维函数的变换,变换后的小波系数维度可选[11],利用此特点可以对森林小面积火灾烟雾图像进行方向特征提取。设烟雾图像信号为一个二维函数f(x,y),连续小波变换见式(10)
WTf(a,bx,by)=∬f(x,y)ψa,bx,by(x,y)dxdy
(10)
其中ψa,bx,by(x,y)为二维小波基,描述函数平移尺度,计算式如下
(11)
二维小波变换不停分解原函数得到中值与邻域组合,直到图像分辨率满足要求。分解后获得四个子图:低频分量子图和三个方向高频分量子图,其中低频分量子图拥有图像主要数据,高频分量子图为水平、竖直、对角方向,描述图像的具体数据,四个子图分别用LL、HL、LH、HH表示。
由于烟雾的特点烟雾图像非常容易被干扰,纹理特征提取和识别通常较困难,表现在小波变换中为高频数据与能量减少,此时可以利用三个方向高频分量子图反映烟雾出现的情况,提取图像纹理特征。
设小波变换尺度用J描述,变换原始信号后得到低频近似系数与高频细节系数,分别用Aj(k)和Dj(k)描述。Aj(k)的平方和即为小波低频能量
(12)
Dj(k)的平方和即为小波高频能量
(13)
其中K描述分析信号采样点数。烟雾图像的小波高低频相对能量表达式见式(14)
(14)
当图像高频能量较高时,表示图像边缘和纹理较清晰;
反之表示图像边缘和纹理不清晰。森林小面积火灾烟雾分布往往较为复杂,特征识别时除了高频能量特征还可以通过小波熵实现。通过小波熵能够了解信息复杂程度,当图像小波熵值越高,表示信息量越大,内容越复杂[12]。信号的总能量为小波低频能量和小波高频能量的总和,计算式如下
NT=NL+NH
(15)
构造比值
(16)
(17)
森林火灾烟雾具有动态特征,可通过小波高频分量对比烟雾边缘结构进行识别。两幅对比图片时间间隔可调,比对公式见式(18)
(18)
(19)
其中λHLj、λLHj与λHHj表示尺度为j时各高频分量相关度。当相关度大时,表示烟雾边缘特征无变化,相关度越小,表示烟雾边缘特征变化较大。
2.3 YOLOv3模型
YOLOv3是一种常用的目标检测算法,拥有高准确率并且实时性强的特点[13,14],在神经网络中通过对目标区域以及类别预测实现识别检测。该算法网络结构为darknet-53[15],算法中的残差模块可通过三个尺度的特征图实现森林小面积的火灾烟雾增强识别,使识别粒度更细,更加适用于小面积森林火灾烟雾识别。
将经过分形模型提取的森林小面积火灾烟雾图像分形特征和基于小波变换提取的纹理特征输入YOLOv3模型进行筛选、增强识别。筛选图解见图1。模型输出一个特征图像,令B表示网格负责目标数,C表示网格类别数,N表示网格数,则维度为N×N×(B×(5+C))。确定一个先验框(cx,cy,pw,ph),其中cx和cy描述网格中点到图像左上角的距离,pw与ph描述先验框的宽和高。继续输出(tx,ty,th,tw,to),其中tx和ty使先验框移到检测框,tw与th可对先验框进行缩放,to表示置信度,计算式见式(20)。
(20)
使用YOLOv3模型对森林小面积火灾烟雾增强识别流程见图2。
图1 筛选图解
图2 烟雾识别流程图
将本文方法应用于某地林区,并把提取到的烟雾视频帧作为实验图像,共计3000张。通过文本算法进行图像增强和特征提取,计算目标烟雾坐标及区域标定,输入本文YOLOv3网络模型,通过小波变换处理图像实验、使用YOLOv3网络模型识别烟雾实验以及实际应用效果实验验证本文方法优势。
3.1 小波变换提取纹理特征实验
通过小波变换处理烟雾图像,将获取到的小波高低频相对能量制成图3。
由图3可以看出,烟雾的相对能量阈值分布范围主要在0.2左右,其它干扰的阈值主要分布在0.5—0.9之间,0.3—0.5可将它们之间分隔开。小波高低频相对能量除了体现图像纹理特征,还能够反映目标边缘是否模糊。图4中其它干扰的相对能量较高,表示这些干扰有更好的纹理性,且边缘清晰;
而烟雾的相对能量较低,表示烟雾纹理性不如其它干扰,边缘也较为模糊。这是由于森林小面积火灾烟雾面积较小,并且本身的特性使纹理性容易受到周围复杂环境的干扰,因此纹理性较差。
图3 小波高低频相对能量
通过小波熵数值衡量烟雾目标和其它干扰的复杂程度,对比图见图4。
由图4可以看出烟雾和其它干扰物在小波熵数值上的分布也有明显的界限。烟雾的小波熵都比1.2大,而其它干扰的小波熵都在1.0以下。通过小波熵证明森林小面积火灾烟雾纹理比其它干扰物更无序,图像更为复杂。这是由于它们各自形成原理和结构的差异造成的。烟雾形状更不规则,结构变化速度快,因此图像复杂程度更高。
图4 小波熵
3.2 烟雾识别实验
首先对本文方法应用的YOLOv3网络模型单位轮数进行实验,分别选取3、6、9轮数对比不同轮数随迭代次数的损失函数变化。实验对比结果见图5。
从图5中可以看出,随着迭代次数的增加,各单位轮数的损失函数均有所下降,YOLOv3网络单位轮数为6时损失函数最小。
图5 损失函数图
将单位轮数统一为6,在YOLOv3网络中添加残差模块,分别使用1/32、1/16和1/8三种尺寸的特征图对不同面积森林火灾烟雾图像进行识别实验,单位轮数定为6。1/32特征图通过下采样卷积操作获取,1/16特征图依靠上采样与较靠上的卷积层结合获取,而1/8特征图通过下层卷积层上采样后结合上层结果得到。三种特征图识别烟雾准确率见图6。
由图6可知,1/32尺寸特征图识别烟雾准确率随着火灾面积的增大而升高;
1/16尺寸特征图在中间面积时识别准确率较好。面对小面积火灾烟雾时,1/8尺寸特征图表现出良好的识别效果,且随着火灾面积变化烟雾识别准确率依然稳定在94%以上。主要原因为1/32特征图获取途径为下采样,视野较大,因此面对小面积火灾烟雾可能出现漏检情况。而1/8特征图获取方式更复杂,视野小,适合识别小面积火灾。
图6 不同尺寸特征图识别准确率
3.3 应用效果
利用本文方法对某地区的森林小面积火灾烟雾进行识别,获取到的烟雾增强识别结果见图7。
分析图7可知,本文方法可以有效获取清晰的小面积火灾烟雾识别结果,原因在于本文方法有效结合了火灾烟雾的分形特征和纹理特征共同进行增强识别,可在火灾发生前期即火灾烟雾面积较小时便及时、准确完成识别,可为森林护林防火,避免生态结构被破坏提供有效支撑。
图7 小面积火灾烟雾识别结果
森林火灾防治的重点在于预防以及及时发现并进行控制。烟雾是火灾发生初期最明显的表现,因此识别森林小面积火灾烟雾在林火防治工作中至关重要。在小波变换提取烟雾图像纹理特征实验中,由于火灾初期产生的烟雾面积小、浓度低,容易被干扰,则烟雾的高低频相对能量分布较低,主要分布在0.2左右;
小波熵数值较大,分布在1.2—2.0之间,表现出较差的纹理性,边缘也较模糊。本文YOLOv3网络模型单位轮数选择6,其中1/8尺寸特征图在烟雾识别实验中,对森林小面积火灾烟雾表现出了更好的识别性能,识别准确率高达94%以上,适用于小面积火灾检测,为森林火灾防治提供了有力保障。