基于改进SSD模型的风电叶片内腔缺陷检测|科技导报

本文针对风电叶片内腔布局繁杂、缺陷种类多样、难以精确检测等问题，提出了改良的单次多界限框检测器（SSD）缺陷检测算法，并提出3方面改良：经由过程将SSD根基收集由可变形卷积神经收集（VGG-16）酿成残差收集（ResNet101）以优化猜测界限框的回归和分类义务的输入特性；经由过程参加全卷积空间注意力模块（FCSE）使模子加倍存眷紧张特性，从而进步检测的精确性；经由过程在损失函数中添加超参数来节制腻滑区域，使模子加倍稳固。

风电叶片作为风力发电机组的主要焦点部件，历久在高空、恶劣的情况中运行，易受到风力、温差、雷击、腐蚀等因素的影响，导致叶片内腔呈现裂纹、脱层、开孔等缺陷，严重时会威逼风电机组的平安性和靠得住性，其机能和寿命直接影响风电场的运行效力和经济效益（图1）。是以，对风电叶片内腔进行按期检测和维护，实时发现和修复缺陷，是保障风电场正常运行的紧张步伐。

图1 风电叶片破损伤害

目的检测是计算机视觉技术的紧张利用偏向，其旨在辨认图像中的分歧目的并给出目的的地位和种别。卷积神经收集（convolutional neural network，CNN）是一种深度进修模子，可有用提取图像特性并用于目的检测。基于CNN的目的检测主要分为两阶段办法和单阶段办法。两阶段办法的原理是老师成候选区域，再对候选区域进行分类和回归，典型代表有RCNN系列（RCNN、Fast-RCNN、Faster-RCNN、Mask-RCNN等）；单阶段办法的原理是直接在整个图像长进行分类和回归，典型代表有YOLO系列（YOLO、YOLOv2、YOLOv3等）和SSD系列（SSD、DSSD等）。

单阶段目的检测办法YOLO系列具有速率快、及时检测等长处，毛病是精确率较低、漏检率高；单次多界限框检测器（single shot multibox detector，SSD）算法均衡了速率和精确率，且可以或许检测多标准的物体，但该算法不克不及充足应用高层语义信息，对付小目的检测后果不够好。

为改善SSD算法针对小标准目的检测后果欠安的环境，相关研讨职员对SSD算法进行了改良。国外的研讨主要集中在以下方面：一是转变根基收集，使用更深层的收集布局来提取更丰硕的特性，如DSSD使用残差收集（residual network，ResNet101）取代可变形卷积神经收集（visual geometry group-16，VGG-16）；二是增长特性交融模块，将分歧条理的特性图进行有用联合，以加强特性表现才能和检测精度，如RSSD使用特性衔接模块，FSSD使用双向衔接模块；三是引入注意力机制，使模子可以或许自顺应地存眷紧张的区域和特性，从而进步检测的精确性和鲁棒性，如ASSD使用空间注意力模块。海内的研讨主要集中在以下方面：一是应用声发射技术来检测风电叶片缺陷，该技术可以或许及时监测叶片内部的微小裂纹和脱层等缺陷；二是体系梳理了风电叶片检测技术的成长近况和趋向，阐发了光电类检测技术和光纤检测技术的优毛病和利用场景；三是评估了风电叶片典型缺陷对叶片机能的影响，并应用小波包阐发和BP神经收集实现了对缺陷类型的模式辨认。经由过程对海内皮毛关研讨的阐发可以看出，今朝基于SSD算法的风电叶片内腔缺陷检测技术还存在以下3个问题：一是根基收集布局过于繁杂，导致模子参数目年夜、计算量高、存储需求高；二是注意力机制没有充足斟酌风电叶片内腔布局的特色，导致模子不克不及有用地域分配景和目的；三是损失函数没有合理地均衡回归和分类义务之间的权重，导致模子训练不稳固。针对这些问题，本研讨提出改良的SSD缺陷检测算法，并从根基收集、注意力机制及损失函数3个方面临原算法进行改良，以晋升风电叶片内腔缺陷的检测后果，同时统筹检测速率。

1 SSD算法

SSD是一种目的检测算法，属于单阶段办法，即在单个收集中完成检测义务。SSD算法的主要特色是采纳多标准特性图用于检测，采纳卷积进行检测，采纳先验框匹配真实框。其主要思惟是使用CNN提取特性，在图片的分歧地位平均地进行密集采样。SSD算法可以使用分歧的比例进行采样，同时进行目的分类和界限框回归。

SSD模子整体架构如图2所示，其采纳的主干收集是VGG收集。SSD借鉴了Faster-RCNN的“anchor”机制，即一个具有可调地位和年夜小的框。SSD应用分歧深度的多标准特性图来检测分歧年夜小的目的。对付小目的，使用分辩率较高的浅层特性图，并在特性图上设置小的先验框；对付年夜目的，使用分辩率较低的深层特性图，并在特性图上设置年夜的先验框。

图2 SSD收集布局

SSD的默认框天生规矩如下：模子使用conv4的第3个卷积及conv7、conv8、conv9、conv10、conv11的第2个卷积的特性进行进一步卷积以得到猜测成果。每个n×n年夜小的特性图都有n×n个特性图单位，它们天生几个固定年夜小的默认框。单个特性图单位天生的默认框数目因分歧的特性图而异，默认框的外形依据默认框边长与原始图像边长之比和长宽比肯定，以每个特性图单位为中心，天生一系列默认框。

2 改良SSD算法

为满意风电叶片内腔缺陷检测的现实需求，均衡SSD模子的检测速率和精确性，提出一种基于改良SSD模子的风电叶片内腔缺陷检测算法。起首，将根基收集由VGG-16变动为ResNet101，以进步特性提取才能和泛化机能，同时削减模子参数和计算量，加速检测速率和低落内存占用；其次，在传统SSD中添加了全卷积空间注意力模块（fully convolutional spatial excitation，FCSE），以进步模子的检测精度；末了，在损失函数部门，添加超参数来节制腻滑区域，使模子加倍稳固。

2.1 SSD收集框架改良

ResNet是一种深度残差收集，其布局包含恒等映射和残差映射2种映射方式。此中恒等映射是直接跳过2个权重层，而残差映射则是经由过程2个权重层，终极输出y=F(x)+x。假如收集已经到达最优状况，继续加深收集，残差映射将被疏忽，只剩下恒等映射，如许可以坚持收集处于最优状况，而且跟着深度的增长，收集机能会逐渐进步。

本研讨采纳ResNet101，其收集布局如图3所示，使用第1个1×1卷积将当前特性图的维度低落到64维，末了经由过程1×1卷积将其规复到原始维度。使用ResNet可以将参数计算量低落至本来的1/17，此外可优化SSD算法机能，使其可以处置更繁杂的义务，进步SSD模子的检测速率和精确性。

图3 ResNet101收集布局

ResNet101使用残差块来办理梯度消散问题，使其在训练时加倍稳固。在选择ResNet101收集替换VGG-16收集后，原SSD收集框架变为图4所示布局。

图4 基于ResNet改良的SSD收集布局

本研讨对SSD收集框架的主要修改是将根基收集由VGG-16变动为ResNet101。VGG-16是一种经典的卷积神经收集，其布局简单，但参数目较年夜，计算量较高，容易呈现梯度消散和过拟合等问题。ResNet101使用1×1卷积来低落和规复特性图的维度，使收集加倍轻量化和高效，使用ResNet101作为根基收集，可以进步特性提取才能和泛化机能，同时削减模子参数和计算量，加速检测速率和低落内存占用。

2.2 注意力机制改良

FCSE模块是一种全卷积的紧缩激励模块，可以增长SSD模子中出缺陷区域地点的特性图通道的权重，从而进步模子的检测精度。SEnet在卷积层后添加了squeeze-and-excitation操作，以肯定特性映射通道的权重，并加强在特性映命中起到积极作用的通道的权重，在同时保证SSD模子高速检测的前提下，该模块可以进步模子的检测精度。

为了进步模子对信息特性的敏感度，SE模块被添加到所有卷积层的额外特性层之后。如图5所示，SE块由squeeze和excitation构成。

图5 FCSE模块

卷积层的输出是一个W×H×C年夜小的特性图，然落后行squeeze-and-excitation操作。这个操作可以加强特性图中出缺陷区域的权重，从而进步模子的检测精确率。

在squeeze紧缩部门，因为卷积层的输出X是一个多通道的特性图，经由过程紧缩操作获得每个通道的图片均匀特性值Z，紧缩操作的公式为

在squeeze紧缩操作之后，必要进行excitation激励操作，该操作由2个全衔接层构成，以获取所有通道的依附关系。激励操作的输出值S计算方式为

式中，W是全衔接层参数，W1是第1个全衔接层参数，W2是第2个全衔接层参数，σ1(⋅)是ReLu激活函数，σ2(⋅)是Sigmoid激活函数，C是通道数。

为了削减模子的参数，使用2个卷积层conv1和conv2取代上述2个全衔接层，形成FCSE模块。将经由过程FCSE模块的输出利用到最初卷积层的输出X，获得终极输出Y

式中，Sc为紧缩激励模块的增益，Xc为最初的卷积层的输出，经由过程紧缩激励模块加强在特性映命中起到积极作用通道的权重，进步模子的检测精度。

2.3 损失函数改良

SSD模子框架在训练模子之前，每个猜测界限框都邑被标志为2种类型的标签。此中一个标签表现猜测界限框中包括的目的种别，另一个标签表现现实界限框相对付猜测界限框的偏移量。当模子训练时，模子起首天生一些猜测界限框，并为这些界限框分离猜测所含目的的种别以及相对付现实界限框的偏移量，然后模子使用交并最近权衡现实界限框和猜测界限框之间的类似度，末了使用非极年夜值克制办法来过滤过剩的猜测界限框，终极发生最类似的猜测界限框。交并比O的计算办法为

式中，a和b分离表现分歧的界限框，a∩b表现交集，a∪b表现并集。

偏移量R的计算公式为

式中，界限框a的中心坐标为（xa，ya），界限框的宽度和高度分离为wa和ha，其分派的真实界限框b的中心坐标为（xb，yb），界限框的宽度和高度分离为wb和hb。常量的默认值为μx=μy=μw=μh=0，σx=σy=0.1，σw=σh=0.2。

SSD在训练模子时使用2个损失函数，一个用于猜测界限框种别的损失，另一个用于测试正类猜测界限框的偏移量的损失。本研讨使用交叉熵损失函数，总体损失函数由地位损失和置信度损失的加权和表现

式中，N为匹配真实界限框的数目，l为猜测界限框，g为真实界限框，c为每个种别的置信度，α是一个权重参数，通常设置为1。

总体损失函数的2个构成部门地位损失函数和置信度损失函数必要分离计算，公式如（8）和（9）所示

式中，表现匹配真实种别的回归猜测界限框，计算办法如下

式中，cx，cy，w，h分离表现猜测界限框的坐标和宽高，和分离表现宽高缩放因子，表现偏移年夜小。SSD模子框架的损失函数是用L1范数来进行腻滑处置，本研讨在损失函数中添加了一个超参数来节制腻滑区域，改动后的损失公式为

式中，σ是添加的超参数，当σ较年夜时，损失函数相似于L1范数损失。

当σ较小时，损失函数加倍腻滑，如图6所示。

图6 模拟分歧超参数σ对改良的SSD损失函数的影响

当风电叶片缺陷检测中的真实框回归到猜测框时，改良的损失函数可以更快地低落损失，这种改良加快了目的训练，晋升了目的检测猜测精度并缩短训练光阴。

2.4 风电叶片缺陷检测

经由过程SSD算法的改良，从理论上进步了对风电叶片缺陷检测的才能。检测的主要步调如下，起首，使用ResNet101作为根基收集，对输入的风电叶片图像进行特性提取，获得分歧深度和分辩率的特性图；其次，在每个特性图上天生一系列默认框，并猜测其包括目的的置信度和相对付真实界限框偏移量，此中包括颠末人工标注的叶片缺陷；再次，使用FCSE模块对每个特性图进行注意力机制处置，使模子加倍存眷紧张的区域和特性；然后，使用交并最近权衡每个默认框与真实界限框之间的类似度，并依据阈值来断定是否匹配；末了，使用改良损失函数来计算地位损失和置信度损失，并经由过程反向流传和梯度降落来更新收集参数。经由过程这些步调，本研讨提出的改良算法可以有用地找出风电叶片内腔中存在的各类缺陷，如褶皱、脱落、漏光等，并给出其地位和种别。本研讨的算法相比于传统SSD模子和其他基于SSD框架的主流模子，在检测精度、速率、参数目等方面都有显著上风。

3 试验成果与阐发

3.1 试验平台

为验证改良模子的检测后果及检测速率，搭建了试验平台并进行试验验证，试验平台软硬件设置装备摆设如表1所示。

表1 试验平台软硬件设置装备摆设

3.2 数据集预备

起首，采纳无人机或者特殊功课机械人采集风电叶片内腔图片或影像，在采集时只管即便保证图像的清楚度和光照前提（图7）。其次，对图像数据进行预处置，包含裁剪、扭转、缩放、去噪等操作，以进步图像的质量和同等性；由专业职员对采集的图像数据进行标注，使用对象如LabelImg或LabelMe，将风电叶片内腔的缺陷区域用矩形框或多边形框标出，并给出响应的种别标签，如褶皱、脱落、漏光等。再次，对图像数据进行加强，使用办法如翻转、扭转、平移、缩放、裁剪、亮度调整、对照度调整、噪声添加等，以扩展数据集的范围和多样性，防止过拟合征象。末了，对图像数据进行划分，依照8∶1∶1的比例将数据集分为训练集、验证集和测试集，用于训练、评估和测试模子的机能。

图7 某叶片内腔缺陷图片

3.3 模子训练

本研讨采纳的模子训练参数设置为，进修率设置为0.02，权重衰减为0.0001，动量为0.9，训练轮数设置为20，每个GPU同时处置的图片数为4，每个GPU使用的线程数为4。

3.4 评价指标

为评价模子的检测后果，在数据阐发阶段采纳了参数目、均匀精度（mean average precision，mAP）和每秒帧数（frames per second，FPS）3个指标进行评价。此中，参数目反映模子的繁杂度，越少越简单；FPS反映模子的检测速率，越高越快；mAP反映模子的检测精度，该值越高越好，计算进程为

式中，TP表现正确检测的样本数，FP表现差错检测为正样本的样本数，FN表现差错检测为负样本的样本数，P表现检测精确率，R表现检测召回率，AP表现每一个种别的均匀精度，N表现分类的数目。

3.5 溶解试验

经由过程5组溶解对照试验来验证本研讨提出的改良SSD算法的检测后果，详细如下：试验一采纳传统的VGG-16收集布局的SSD算法模子；试验二将VGG-16收集布局更新为ResNet101收集布局；试验三在试验二的根基上增长了FCSE全卷积存缩激励模块；试验四在试验二的根基上改良了损失函数，添加了一个超参数节制腻滑区域；试验五采纳了本研讨提出的完备改良办法（表2）。

表2 溶解试验对照

试验一和试验二比拟了VGG和ResNet两种根基模子的机能，成果显示，ResNet的检测精度mAP比VGG高6.7个百分点，但检测速率FPS比VGG低13.9个单元，阐明ResNet在目的检测义务上有更好的表示。ResNet的焦点思惟是让收集层进修到输入与输出之间的残差映射，而不是直接进修一个映射，残差块的快捷衔接提供了一条没有权重的直接路径，可以使梯度直接流过多个层，从而低落梯度消散或爆炸的风险，因为残差进修框架的引入，可以训练更深的收集而不会呈现机能降落，更深的收集意味着可以进修更繁杂的特性表现，对付进步目的检测义务的精度（mAP）异常有赞助，但同时也必要更多的计算资本。

试验二和试验三比拟了是否使用FCSE的影响，成果显示，使用FCSE可以将mAP进步1.2个百分点，但FPS低落2.5个单元。FCSE模块经由过程全卷积收集对特性图进行紧缩和激励，强化了模子对紧张特性的进修才能，该模块经由过程聚焦于信息丰硕的特性，削减了冗余信息的滋扰，从而进步了特性的表达才能，FCSE模块使模子可以或许加倍准确地定位和辨认目的，使mAP晋升1.2个百分点，固然不是伟大的晋升，但在高程度的竞争中，同样具有统计学意义。FPS的降落注解了计算繁杂度的增长，在及时或必要快速相应的利用场景中，这可能是一个必要斟酌的因素，FPS低落2.5个单元可能会影响到模子在现实部署时的相应速率，是以必要衡量精度和速率的需求。

试验二和试验四比拟了是否使用改良损失函数的影响，成果显示，改良损失函数可以使mAP进步0.6个百分点，同时使FPS进步1.7个单元。改良损失函数经由过程对原有损失函数的调整，引入超参数，可以微调模子对付分歧义务的敏感度，从而在精度和速率之间找到更好的均衡点，纵然mAP有0.6个百分点的晋升，对付某些利用也是明显的，分外是在高精度要求的场景下，FPS晋升1.7个单元可使模子在有限的硬件资本上运行得加倍流利。

试验五是本研讨提出的完备改良办法，成果显示，mAP到达了所有试验中最高的83.6%，但FPS略低于试验四。这阐明FCSE和改良损失函数可以互相共同晋升收集机能，但也必要在速率和精度之间折中均衡。

3.6 对照实验

为对照本研讨提出的办法与传统SSD办法以及其他基于SSD的改良办法（ASSD、DSSD、FSSD）的检测后果，在自建数据集上对小标准缺陷检测以及整体数据集检测后果进行了2项实验对照。

经由过程在小标准缺陷目的检测数据集上的对照试验（表3）可以看出，本研讨办法在所有种别上都取得了最高的检测精度，注解算法对付细微特性的捕获才能更强，本研讨办法获得了最高mAP，注解在分歧类型的小标准缺陷检测上具有同等的机能，这是鲁棒性的体现，阐明本模子对小标准缺陷检测具有较强的鲁棒性。

表3 小标准缺陷目的数据集检测后果对照试验

经由过程本研讨改良算法与其他办法的对照试验可以发现（表4），本模子整体数据集检测后果优于其他模子，阐明本模子具有较好的泛化才能，泛化才能的晋升意味着模子在面临未见过的小标准缺陷时也能坚持较高的检测精确率。本模子在参数目上远低于其他办法，可以或许有用低落模子繁杂度和存储需求；获得的均匀检测精度mAP高于其他办法，相比于传统SSD办法晋升9.4个百分点；检测速率FPS值稍低于SSD和FSSD办法，然则高于ASSD和DSSD办法，仍能到达现实事情中检测速率的要求。

表4 整体数据集检测后果对照试验

经由过程图8和图9的检测成果对照可以看出，本研讨的改良算法相比SSD办法在风电叶片内腔小缺陷的辨认以及整体检测精度上都有较显著的晋升，可以精确检测出小标准缺陷，这在风电叶片内腔缺陷检测中尤为紧张。

图8 内腔小缺陷辨认检测成果对照

图9 叶片整体检测成果对照

4 结论

经由过程将SSD算法的根基收集由本来的VGG-16布局优化为ResNet101布局，可以训练更深的收集，并办理梯度消散的问题，因该布局参数目更少，可以使检测精确率和训练速率同步晋升；在参加FCSE注意力模块后，可对输入特性图进行通道特性增强，从而进步模子的感知才能和泛化才能；在损失函数方面，经由过程添加超参数来节制腻滑区域，避免过拟合或欠拟合，使模子加倍稳固。

试验成果注解，改良后的模子相较于原SSD模子mAP晋升了9.4个百分点，同时对风电叶片的小缺陷目的检测效力也有了显著晋升，可以较好地满意风电叶片内腔缺陷检测各种工况现实利用需求。

作者简介：郭贺，上海发电装备成套设计研讨院有限责任公司，高档工程师，研讨偏向为新能源提质增效技术、电力电子和电气传动、电力体系主动化及核电1E级电气装备判定。

原文颁发于《科技导报》2024年第9期，迎接订阅查看。

内容为【科技导报】"号原创，迎接转载
白名单回复后台「转载」

《科技导报》创刊于1980年，中国科协学术会刊，主要登载科学前沿和技术热门范畴突破性的结果报道、权势巨子性的科学评论、引领性的高端综述，颁发匆匆进经济社会成长、完美科技治理、优化科研情况、培育科学文化、匆匆进科技立异和科技结果转化的决议计划咨询建议。常设栏目有院士卷首语、智库概念、科技评论、热门专题、综述、论文、学术聚焦、科学人文等。