·今日铸造 Today Foundry·
随着我国航空航天事业的发展,面向各类任务需求的航空航天重大装备陆续问世。发动机作为航空航天装备的 “心脏”,其可靠性和安全性极其重要。高温合金作为一种性能优秀的高合金化金属材料,可在600 ℃以上长期使用,并具有优良的抗氧化、腐蚀、抗蠕变疲劳能力和组织稳定性。自1937年世界上第一台燃气涡轮喷气发动机开始,高温合金就与航空发动机紧密结合在一起。同时,借助熔模精密铸造技术,可以制造具有复杂内腔结构、尺寸精度高、粗糙度水平高的航空发动机铸件[1]。对于熔模精密铸件的生产,在制壳、脱蜡、焙烧、浇铸等工艺参数和界面反应因素的综合作用下,铸件表面会形成裂纹、夹杂物、粘砂、气孔等缺陷。这些表面缺陷影响了工件的表面质量,增加了后处理的工作量,甚至会在服役过程中导致工件报废,如气孔缺陷破坏了基体的连续性,降低了铸件的有效承载面积,容易在气孔缺陷周围产生应力集中,这将使铸件的机械性能如冲击韧性和疲劳强度大大降低[2]。因此,相关的表面缺陷需要及时检出。
荧光渗透检测是一种较为成熟的无损检测方法,因其具备操作简单、检测费用低、灵敏度高、显示直观易判断,能检查复杂几何形状等诸多优点,常被用于熔模精密铸件的表面缺陷检测[3-5]。荧光渗透剂具有良好的润湿性,在毛细管作用下这些渗透剂可以渗入到紧密的缝隙、裂缝、孔隙、褶皱和其他开放到表面的不连续部分,从而在工件表面形成缺陷荧光显示,如图1 所示[6-8]。
图1 荧光缺陷显示形成过程示意图:(a)荧光渗透检测操作,(b)铸件表面夹杂物缺陷荧光显示
Fig.1 Schematic of the formation of fluorescent displays:(a)fluorescent penetrant inspection procedure,(b)fluorescent display of inclusions on the surface of casting
荧光渗透检测通常由人工进行操作,然而由于工艺流程不一致,吞吐量低、工件搬运过程中易损坏,检测员易疲劳等原因,其检测效率和精度受到限制。1975 年GEAE 公司开展了荧光渗透自动化检测研究,1986 年又开发了自动化荧光渗透处理模块(AFPPM)和荧光渗透检测模块(FPIM)[9]两个辅助系统。1998 年美国空军(USAF)和普·惠(P&W)公司已经采用除人工目视检查外的全自动荧光渗透检测生产线,并针对大件和小件各开发了一条渗透检测生产线[10]。相较于人工检测,自动化生产线减少了人力、降低了材料损耗、扩大了检测产品范围,还增加了污染处理环节;特别在检测精度方面,针对1 mm的裂纹,实现了在50%置信区间下至少90%的裂纹检测概率。21 世纪以来,中国有公司逐步发展了针对少数产品的半自动荧光渗透检测线[11-13]。然而,半自动方法只实现了操作步骤的自动化,对于荧光缺陷显示仍通过检测员进行目视判别,如图2 所示。虽然人工进行荧光缺陷检测可利用某些辅助手段,如使用丙酮擦拭法辅助识别荧光缺陷,增加检测的灵活性。但在某些熔模精密铸件中,缺陷产生的概率较小,检测员长时间观察伪显示极易视觉疲劳[14];并且长期暴露于黑光灯环境下,会对眼部造成危害;同时,荧光渗透检测员需专门进行培训,培养周期长且成本高;此外,检测员的检测经验和判断标准各异,可能会对同一荧光显示作出不同判断[15]。在这些问题下,人工目视判别下的荧光检测显示出较低的检测精度、检测效率和较高的漏检率与误检率,这可能导致部件失效,甚至产生严重的后果[16]。特别对于航空航天发动机等关键工件,现有的荧光检测技术无法实现其表面质量的稳定控制。因此,伴随着计算机技术的发展,荧光检测自动化逐渐展开,并且取得了不错的成果[16-24]。相较于人工目视判别,自动检测无需考虑检测员的经验水平、主观判断、疲劳程度等问题,在检测精度和检测效率方面获得了提升。本文阐述了精密铸件表面缺陷荧光渗透自动检测系统的研究现状,并对其未来发展趋势进行了展望。
图2 半自动荧光渗透检测的检测流程:(a)荧光渗透检测流水线,(b)黑光灯下检测员目视判别荧光缺陷
Fig.2 Semiautomatic fluorescent penetration inspection process:(a)fluorescent penetration inspection pipeline,(b)visual identification of fluorescent defects by inspectors under black light
传统图像处理法最先被用于荧光缺陷自动化检测研究。Tang 等[25]针对飞机发动机部件裂纹荧光缺陷易受伪显示影响的问题,提出了精确识别裂纹缺陷荧光显示的自动化检测系统。通过提取维度比、长宽比、面积、灰度比、紧密度、离心率、腐蚀比和灰度腐蚀比等特征,并由Fisher 分类器、贝叶斯算法、K 近邻算法、多层感知机进行分类,最终在467 个裂纹荧光显示和470 个伪显示数据集上获得了90%以上的准确率,表明了荧光自动检测系统的可行性。Moore 等[26]为满足航空发动机部件情况的监测,建立了基于数据融合的多级算法,实现了荧光缺陷自动化检测。但对于使用的数据集并未明确指出,也未给出检测系统性能指标。Alba 等[21]针对航天工业铸件的表面检测问题,开发了一套荧光渗透自动检测系统,并提出了一种起点提取(starting point extraction,SPE)算法,对缺陷荧光显示的最大欧式距离、面积、形状分类,并成功识别了8~20 mm 的缺陷显示,但所开发的FPI 自动检测系统停留在特征提取步骤阶段,只完成了最大欧氏距离、面积、长宽比特征的提取和荧光缺陷形状的分类,并未实现不同类型荧光缺陷的分类。Zheng[19]提出一套基于机器学习和图像处理的自动检测系统,该系统提取了霍夫变换和几何特征,并使用多层感知机对特征进行分类,系统缺陷检测准确率为91.4%,分类正确率达94.6%。Shipway 等[16] 利用随机森林模型和图像处理方法尝试构建了荧光缺陷自动检测系统,该系统取得了76%的召回率,优于检测74%的检测精度。同时,国内关于荧光缺陷自动检测的研究也逐渐出现[27-30],所提出的自动检测系统在表面裂纹、凹陷等荧光缺陷的识别中取得了较好的性能,推动了荧光检测自动化的实现。
传统图像处理法主要由图像预处理、图像分割、特征提取和分类4 个环节组成,如图3 所示[31]。
图3 传统图像处理法的主要步骤[31]
Fig.3 The main steps of the traditional image processing method[31]
1.1.1 图像预处理
在复杂的工业环境中,采集的图像质量一般较低,通常伴有光照不均、噪声等问题。图像预处理的目的是消除图像中的冗余信息,恢复有用的真实信息,增强相关信息的可检测性,最大程度地简化数据,从而提高后续图像分割、特征提取的可靠性。参考文献中主要使用的预处理方法如表1 所示。
表1 荧光缺陷自动检测系统中采用的图像预处理方法
Tab.1 The image preprocessing method used in the automatic fluorescence defect detection system
荧光渗透检测采集到的图片一般为RGB 颜色空间图片,传统图像处理法通常将标准RGB 图像转化为灰度图。图像灰度化将RGB 三通道信息耦合成单通道灰度图片,可以简化图片信息,提高运算速度。相较于使用灰度图像,Zheng[19]比较了铸件荧光检测后的原始RGB 图像、标准灰度图和绿色通道图像,绿色通道图像中的荧光显示和背景平均亮度值分别为190.845 3 和85.578 3,标准灰度图中荧光显示和背景平均亮度值分别为170.408 9 和96.336 0,结果表明绿色通道图像能够增强荧光检测中的黄绿色荧光显示,同时增大荧光显示和背景的对比度,提高了后续图像分割的可靠性。
在荧光检测中,相机获取图片的环境复杂,因温度波动、光照强度变化、荧光渗透剂及相机电流等原因将造成获取的荧光图像有噪声存在[38,44]。图像滤波算法可以很大程度上去除图像中的噪声,根据滤波器适用的空间可分为空间域滤波和频域滤波。
中值滤波器作为一种常用的低通空间域滤波器,在平滑图像的同时能较好地保留边缘信息。林果等[33]通过加权平均的中值滤波算法对荧光磁粉图像去噪,绝大多数因荧光磁粉小颗粒产生的伪显示被去除。高敏杰等[34]采用方形窗口的中值滤波器对因光源照度、温度波动、金属轴表面污染造成的随机散粒状噪声进行了平滑处理,结果显示噪声得到了很好地抑制,但边缘同时也在一定程度上被平滑。Pastor-López 等[40]通过高斯滤波器对汽车碟式刹车器精铸件的荧光渗透图像进行了降噪。为抑制工件荧光图像噪声,邓鑫[43]选取了均值滤波、中值滤波、高斯滤波、引导滤波和双边滤波5 种算法,并采用信噪比(signal-to-noise ratio,SNR)和峰值信噪比(peak signal-to-noise ratio,PSNR) 作为滤波算法性能的评价指标,结果表明双边滤波的SNR 和PSNR 的值最高,具有更好的去噪效果。以上研究通过空间域滤波获得了较好的降噪效果,频域滤波也可进行较好的降噪。因紫外灯强度波动,工件荧光图像会产生噪声条纹,Hao 等[44]通过小波变换消除了图像中的噪声条纹,获得了较好的对比度。目前,大多数研究都是采用多种滤波器组合的方式进行图像降噪。Zheng 等[15]结合了小波变换和中值滤波对铸件荧光图像进行降噪。Li 等[36]将3×3 的中值滤波器和维纳滤波器相结合对铸件气孔、夹杂物和缩孔X 射线图片去噪,滤波后绝大部分脉冲信号和噪声被平滑。同时,可采用直方图均衡化[45]和伽马变换[19,43]等图像增强手段增大荧光缺陷显示和背景的对比度,便于后续图像处理。
图像分割是指从图像中分出若干个具有独特性质的区域并提取出感兴趣区域(region of interest,ROI)的过程,在荧光图像中指从背景和伪显示中提取荧光缺陷显示区域的过程。
张玉峰等[27]通过大津法(Otsu)对火炮内膛裂纹的荧光检测图像进行阈值计算,并通过计算的阈值进行二值化处理,从而分离裂纹显示和背景,但分割后的裂纹显示仍存在较多背景噪声。陈旭等[28]在Otsu算法的基础上引入灰度—局部方差二维直方图对工件的荧光磁粉检测图像进行分割,改进的Otsu 算法在自身基础上充分描述了各像素间的空间联系,结果显示分割后的图像中裂纹缺陷、滞留磁悬液、反光和纤维物区域都能被有效分割,主要几何特征信息几乎无损失。Taheritanjani 等[47]采用Sobel 算子对航空发动机紧固件的图像进行分割,在没有噪声的干扰下,Sobel 算子能较好地识别紧固件的边缘。除了直接分割图像,还可以利用边缘检测算子对图像进行锐化。金属轴裂纹缺陷的图像经中值滤波降噪后,裂纹边缘因平滑处理而模糊。高敏杰等[34]通过Laplace 边缘检测算子对中值滤波后的图像进行边缘提取,重新提取被模糊的边缘,最后通过阈值分割得到可能存在裂纹的区域。Sekerin 等[22]在考虑荧光检测图像颜色特点的基础上,提出了一种基于彩色滤波器和渗透检测后工作表面视觉分析基本准则的图像分割方法(systems of technical vision,STV),与阈值分割相比,STV 提供了更为全面的信息。
1.1.2 特征提取
特征提取指从分割出来可能存在缺陷的区域中为后续机器学习分类提取特征的过程。一般可分为颜色特征、纹理特征和几何特征。在缺陷荧光显示的特征提取环节中,往往是基于所需要分类的不同缺陷荧光显示的特点和人工分类的判断标准共同设计特征。
目前荧光缺陷自动检测系统中主要识别的缺陷显示如图4 所示。缺陷显示和伪显示的特点如下:①裂纹荧光显示多呈线性(长宽比大于3),伪显示多呈圆形;②荧光缺陷显示的边界比伪显示的边界更清晰;③荧光缺陷显示的边界比伪显示的边界更简单;④荧光缺陷显示的亮度值的偏差小于伪显示亮度值的偏差;⑤荧光缺陷显示的亮度值大于伪显示的亮度值;⑥大多数裂纹荧光显示的面积大于伪显示。根据上述荧光显示特点,可设计一些简单的几何特征和颜色特征。
图4 目前识别最多的几类荧光显示:(a)线性荧光显示,(b)圆形荧光显示,(c)伪显示[16]
Fig.4 The most recognized types of fluorescent displays:(a)linear displays,(b)circular displays,(c)false indication[16]
常用的几何特征有面积、长度、宽度、长宽比、离心率、最大欧式距离、周长、矩形度、质心、外切矩形、方向角等[19,21,25,28,34,37,40]。Zheng 等[15]提取了缺陷荧光显示的长度、宽度、位置、面积、周长、长宽比和矩形度七个几何特征,并使用多层感知机对缺陷进行分类。在提供的44 张测试图像中,共计224 个缺陷显示,缺陷检测准确率为91.4%,分类正确率为94.6%。可见所提取的几何特征对此数据集中的缺陷荧光显示分类较为有效。
除几何特征外,颜色特征也常被用于缺陷荧光图像的特征提取环节。根据前述荧光显示特点,相较于伪显示,缺陷荧光显示的像素亮度值更大且分布更均匀。因此,颜色特征如RGB 通道和灰度图的极值、均值、标准差、总和、方差和中值等,常被用于区分缺陷显示和伪显示[16,48]。
颜色特征和几何特征大多基于人工经验标准,设计较为简单,在线性和圆形缺陷显示的分类、缺陷显示和伪显示的分类等简单应用中取得了不错的效果[15,25,28,34,37]。而对于复杂缺陷如夹杂物和粘砂缺陷显示之间的分类,仅仅依靠颜色和几何特征信息无法取得满意的效果。因而图像的纹理特征逐渐被引入荧光缺陷图像的特征提取环节。Shipway 等[16]引入了Haar 特征用于裂纹缺陷荧光显示和伪显示的分类;Díez-Pastor 等[49]提取了Haralick 和LBP 两类纹理特征用于镁合金铸件的缺陷检测;Mery 等[50]除了提取LBP 和Haralick 特征外,还采用了Gabor、SIFT、SURF、HOG、BRISK 和BSIF 特征用于轻合金铸件的表面缺陷检测。
特征提取作为传统图像处理法中最重要的一个环节,所提取的特征直接影响后续的缺陷识别结果。需要尽可能从图像中提取特征为后续机器学习分类器提供数据支持,但并非特征越多分类效果越好。Pastor-López 等[48]在检测球墨铸铁件表面缺陷时,提取了4 类特征,分别为简单特征(包括高度、宽度、周长、区域面积、区域中心到原点的欧氏距离、区域的完整度)、最佳交叉线轮廓特征(best crossing line profile,BLCP)、频域特征(通过傅里叶变换将图像从空间域转化为频域,再提取频域中灰度的最大值,均值,中指,最小值,标准差和熵等特征)、灰度共生矩阵。4 类特征被用于构建5 种特征数据集:①简单特征;②简单特征+BLCP;③简单特征+频域特征;④简单特征+共生矩阵;⑤所有特征。在采用SVM算法得到各组精度分别为97.27%,96.85%,97.31%,97.29%,96.88%;其AUC 分别为0.974 2,0.972 6,0.977 0,0.977 0,0.975 2。5 组特征得到的结果差别不大,甚至①的简单特征分类性能优于②和⑤。因此,需要根据情况选择有效的特征,以减少计算资源的消耗和特征提取的时间。
目前提取的特征主要基于人工检测经验进行设计,虽然对一些简单荧光缺陷可以做到有效分类,但对于某些复杂荧光缺陷的识别效果不理想。因此,如何针对复杂荧光缺陷提取有效的特征仍需要进一步研究。
2012 年,AlexNet[51]卷积神经网络成功应用于大规模图像分类,由Lecun 等[52]提出的深度学习方法逐渐被研究人员应用于各类图像分类任务。与传统图像处理法相比,深度学习法可从图像中自动提取特征,避免了手动设计特征的困难。借鉴通用场景图像分类任务中深层神经网络的使用流程,研究人员逐渐将深层卷积神经网络应用于表面缺陷检测。表面缺陷检测中的深层神经网络根据应用目的可分为分类、检测和分割3 类,如表2 所示。但对于荧光缺陷检测,目前主要报道了分类和检测两类网络的应用。
表2 深层神经网络在缺陷检测中的对比
Tab.2 Comparison of deep neural networks in defect detection
1.2.1 分类网络
常用的分类网络有VGG[53]、ResNet[54]、GoogleNet[55]等,分类网络的输入数据是图像和类别标签。该方法构建的可对铸件表面缺陷实现二分类和多分类任务,但在现有的基于分类网络的荧光渗透自动检测系统中,所实现的都是荧光缺陷显示和伪显示的二分类任务。
Shipway 等[24]在使用随机森林模型对工件荧光缺陷分类后,使用了深层卷积神经网络ResNet34 和ResNet50 研究深度学习对荧光检测系统性能提高的作用,同时探究了数据集间类别失衡(裂纹荧光显示和伪显示) 对分类结果造成的影响。实验结果显示,ResNet50 在3 种模型中取得了最佳的性能,表明了深层神经网络在荧光缺陷识别中优异的性能。类别失衡的数据集(伪显示∶裂纹显示=10∶1)相比类别平衡的数据集(伪显示∶裂纹显示=1∶1)取得了更好的性能,这可能是网络学习了大量非缺陷图像特征的原因。
Niccolai 等[18]将神经网络技术引入荧光检测中,设计了一种用于裂纹、线性和正常显示的分类荧光缺陷自动检测系统,该系统由两种结构构成。第1 种是将原图直接输入到神经网络中进行分类;第2 种结构将预先提取的特征(取向、外界椭圆长径和短径、离心率、面积)作为输入送入神经网络分类,神经网络模型可选用深层卷积神经网络或多层感知机。实验结果显示第1 种模型在测试集中的分类正确率仅为62.7%,而第2 种模型在测试集上的分类正确率为98.0%,表明了在浅层神经网络中自动提取特征的能力较差,通过预先提取特征可以降低神经网络的输入并减少网络的训练时间。但对于深层卷积神经网络,第二种模型放弃了网络对特征的自动提取特征能力,仅仅将其作为一个非线性分类器。
邓鑫[43]提出了一种双线性对称(Bilinear symmetry NASNet,BS-NASNet) 网络对荧光磁粉缺陷进行检测,以实现对残次品工件图像的精确识别。数据集由2 060 张无缺陷的工件图像和2 006 张有缺陷的工件图像构成,为充分训练网络模型,对数据集进行了数据增强扩充样本数量,并引入迁移学习技术进一步减轻样本数量不足带来的影响。同时,使用LBP+SVM 与GLCM+MLP 的传统图像处理法与BS-NASNet 模型性能对比,3 种模型的准确率分别为94.6%、90.6%和99.8%,表明深层卷积神经网络在荧光缺陷检测中拥有更强的泛化能力、更高的检测精度和鲁棒性。
Yang 等[56]针对传统图像处理法在轴承环表面荧光缺陷检测中鲁棒性差的问题,提出一种基于MobileNetV3 模型改进的分类网络进行荧光缺陷识别,该模型使用Coordinate Attention 模块代替了原来的SE 注意力机制模块,考虑了一种更有效的获取位置信息和通道关系的方法,增强了网络的特征表示。轴承环数据集中包含419 幅原始图像,并通过数据增强的方法获得了4 836 幅图像(2 420 幅缺陷图像,2 416 幅无缺陷图像)。与经典分类网络ResNet34,GoogleNet,VGG16 相比较,提出的模型获得了最高的准确率94.9%,最短的计算时间0.675 s,最小的参数量12.6 M,该轻量级网络满足了工业检测中兼并快速和准确度的要求。同时将提出的卷积神经网络模型与传统图像处理法作对比(①SIFT+SVM;②几何特征+SVM;③Hu invariant moment+MLP,结果显示SIFT 特征和SVM 的组合获得了最好的性能,召回率、精度、耗时分别为88.8%,79.2%,18.75 s,可见深度学习技术较大地提升了荧光缺陷自动检测系统的性能。
在使用分类网络时,高分辨率图像需要进行分块处理,降低了荧光检测系统的实时性。同时,需要注意分块后的荧光缺陷数据需要在输入图像中占一定的比例,否则经深层网络的卷积和池化层后缺陷特征会消失,导致系统的分类性能不能满足要求。
1.2.2 检测网络
该类方法在分类网络的基础上,还确定了缺陷的位置和大小。相比于分类网络,检测网络可获得更充分的缺陷信息,便于后续对工件质量进行更详细的判断。根据网络的类别输出和Bounding Box 的位置输出是否同步,目标检测网络可分为单阶段网络和两阶段网络。前者包含YOLO[57]、SSD[58]、CornerNet[59]等,后者主要有RCNN[60]、Fast-RCNN[61]、Faster-RCNN[62]。
刘硕等[63]为实现金属轴上点状、线状和摩擦型荧光缺陷的分类检测,基于YOLOv3 网络设计了一种荧光缺陷自动检测系统,完成了对3 种缺陷的定位和分类。在3 种共计1 858 张缺陷图像数据集上,将YOLOv3 模型与传统图像处理法做对比,YOLOv3网络对3 种缺陷分类的mAP 达到了95.79%,并且在相同条件下深层神经网络的检测速度相较于传统图像处理法快了8.91 倍。
YU 等[64]提出了一种用于汽车用钢模具锻件荧光缺陷的检测网络EfficientNet-PSO,该网络以EfficientNet 为骨干网络,FPN 作为数据融合层,引入CIoU 用来优化锚盒的收敛速度,并采用PSO 算法来优化网络参数,如图8 所示。检测系统的数据集由450 幅汽缸盖和法兰盘的原始缺陷图像组成,利用8种不同的数据增强方式扩充数据集以满足网络的训练需求。为验证网络的性能,选取常用的YOLOv3、YOLOv4、YOLOv4-Tiny、CenterNet、Faster-RCNN 等检测网络作为比较模型,结果显示提出的网络获得了95.69%的mAP,93.90%的召回率和0.94 的F1 得分,为几类网络中最优,表明EfficientNet-PSO 网络在荧光缺陷检测中性能的优异。同时将PSO 算法与SA、Evolution、TPE、Hyperband、PBT 等优化算法相比较,PSO 算法获得了最小的验证损失,但所花费的时间最长,需要结合实际情况综合选择优化算法。
从上述荧光缺陷检测系统中可知,深度学习方法需要大量的数据对网络进行训练。而对于实际的工业生产,样本数据集小,熔模精密铸件的缺陷样本较难采集,无法获取足够的缺陷样本;并且缺陷类型不完整,数据集类间严重不平衡。因此其荧光缺陷的数据集通常为不平衡的小样本。这很难满足深层卷积神经网络模型的训练需求,因此研究人员通常采用数据增强和迁移学习的方法降低小数据集对网络训练带来的影响[65]。此外,也可通过人工引入缺陷扩充数据集。因航空发动机废旧部件的裂纹难以获取,Tang 等[25]将荧光伪显示噪声背景与人造裂纹图像相结合,模拟真实荧光图像。Shipway 等[16]通过热疲劳加载在POD 测试板上引入裂纹缺陷,成功在36块测试板上获取了0.1~3.4 mm 的裂纹124 条。Glebov 等[39]针对渗透检测中的微裂纹荧光显示进行了建模,采用双阈值及量化宽松系数控制裂纹像素亮度,八领域随机选择裂纹扩展方向,最后通过引入背景噪声、高斯滤波和CMOS 噪声模拟真实荧光显示成像时受外部光源、图像传感器及光学系统像差畸变造成的噪声。该方法得到的裂纹图像与实际得到的裂纹较为相似,但实际裂纹的端点因毛细效应存在增厚现象,并且裂纹的宽度也非恒定。
缺陷数据集类间不平衡也会影响分类的性能,数据集类间比例过于悬殊时,将影响模型的泛化能力[28]。Pastor-López 等[66]构建的刹车器表面缺陷数据集中,夹杂物为387 幅,冷隔为16 幅,浇不足为52幅,无缺陷为5 030 幅,数据集类间严重不平衡,采用SMOTE 法平衡数据集,分类性能得到了较大提升。Díez-Pastor 等[49]采用SMOTE 和RU 平衡镁合金铸件缺陷数据集,然后通过随机森林模型和J48 决策树对缺陷进行分类,结果表明RU 和SMOTE 对于随机森林模型性能的提升并不明显,而对于J48在数据集不平衡下的分类性能有较大提升。
熔模精密铸件表面缺陷较难获得,因此铸件表面荧光缺陷的数据集通常为小数据集,而基于机器学习的传统图像处理法无需大量数据,仅依靠小数据集即可实现自动检测。Pastor-López 等[66]为解决某些行业缺陷自动检测中的小数据集问题,提出了一种基于多阶段的多分类机器学习算法BoDoC。BoDoC 是一种两阶段分类方法,第1 个层次获得样本的先前特征(例如,是否是铸造缺陷);第2 层对每个图像进行分类,最终产生检测结果(为了提高模型的分类能力。第2 阶段的机器学习模型将最初提取的特征和第一阶段的输出作为输入)。结果显示BoDoC 在小数据集的缺陷检测中第一、二阶段的检测精度分别达到97.31%和91.96%。
目前,荧光缺陷自动检测技术中应用最多的为分类模型,图像处理加机器学习算法和卷积神经网络都可以构建分类模型。Shipway 等[16]基于图像处理和随机森林模型实现了裂纹荧光显示和伪显示的分类,其荧光缺陷自动检测流程如图5 所示。首先通过预先确定的亮度阈值,舍弃无缺陷区域,然后滑窗划分荧光图像,建立荧光数据集。亮度、Haar 特征等21 类特征被提取作为输入数据输送到随机森林模型训练,最终模型的召回率为76%,而人工检测的精度仅为74%,该系统初步实现了裂纹荧光显示和伪显示的二分类。尽管精度不高,但为荧光缺陷自动检测系统的实现提供了一种思路。
图5 基于随机森林模型的荧光缺陷自动检测系统[16]
Fig.5 Automatic fluorescence defect detection system based on the random forest model[16]
基于缺陷荧光显示经擦除后仍会反渗的现象,Karigiannis 等[17]设计了一种多机器人自动检测系统获取了擦除前后和白光灯下的荧光缺陷图像,如图6 所示。在测试集上,人工识别的准确率为92.12%,召回率为92.66%,自动检测系统的准确率为95.07%,召回率为96.86%,并成功识别出约0.1 mm 的荧光缺陷显示,表明了深层卷积神经网络在荧光缺陷识别中的优异性能。但系统的误检率为11.36%,高于人工9.85%的误检率,仍有进一步的发展空间。
图6 多机器人系统中的并联卷积神经网络结构[17]
Fig.6 Multi-convolutional neural network architecture in multi-robot systems[17]
传统图像处理法需手动设计特征,同时图像处理法极大地依赖于人工提取的特征进行分类。目前荧光缺陷自动检测系统中实现的都是简单缺陷显示,如裂纹和伪显示之间的分类,对于复杂荧光缺陷显示之间的分类几乎没有报道。对于简单荧光缺陷可采用基于人工经验标准的特征进行分类,而对于复杂的荧光缺陷分类问题,必须提取更复杂的特征作为分类标准,但复杂的纹理特征很难通过经验判断。因此如何设计合适的应用复杂荧光缺陷分类的特征仍是一个极富挑战且亟待解决的问题。
基于机器学习的传统图像处理法是一种较为常用的缺陷自动检测方法。对于熔模精密铸件荧光缺陷检测的小数据集情况,传统图像处理在构建荧光自动检测系统时更具优势;但需要手动设计特征,所提取的特征存在一定的片面性,无法很好地反映图像中的所有信息。
深度学习方法在检测小尺寸荧光缺陷时具有更好的性能。一些熔模精密铸件表面缺陷尺寸较小,渗透检测后形成的荧光显示也较小,但对表面粗糙度和性能有着重要的影响,需要及时检出,避免服役过程中产生危害。目前传统图像处理法中识别出的最小荧光缺陷约为0.75 mm[16],如此微小的荧光显示很难通过一系列图像处理流程提出明显的特征用于分类识别。通过深度学习的方式识别出最小的荧光缺陷约为0.1 mm[17],但实际情况中铸件表面可能存在各种尺寸的荧光缺陷,因此如何设计多尺度下的缺陷特征提取模块对小尺寸荧光缺陷提取是一个关键问题。相较于传统图像处理法,深层卷积神经网络在荧光缺陷识别中无需对图像进行特征提取,避免了人工设计特征的困难。同时,其检测精度、泛化能力、检测速度和鲁棒性都有较大提升。但深度学习法需要大规模的数据集训练网络,而熔模精密铸件的荧光缺陷数据集难以获取,因此如何在小数据情况下充分训练网络需要进一步研究。
目前,自动化荧光渗透检测主要集中在渗透试剂施加和清洗方面,荧光缺陷判定仍依靠人工目视判断。国内外学者对荧光渗透检测自动化进行了研究,构建了一系列荧光自动检测系统,在检测效率和检测精度方面得到了较大的提升,但仍有许多亟待解决的问题:
(1)荧光缺陷图像的采集尚未有统一的标准,图像质量标准参差不齐,难以利用。
(2)荧光缺陷自动分类主要集中于显示和伪显示的二分类,并未涉及到更多熔模精密铸件表面缺陷。
(3)传统图像处理法在图像处理和特征提取过程中过于耗时,难以达到实时性要求。因此,亟需发展高精度、高鲁棒性和高检测效率的荧光渗透检测技术,建立内腔和曲面等结构的荧光自动检测系统,实现荧光缺陷的精确检测。
随着计算机技术的进步,基于图像处理、机器学习、深度学习方法,建立荧光缺陷图像采集标准,构建各类荧光缺陷数据集,实现传统人工检测向数据驱动的智能检测模式的转变,是解决未来航空航天装备用精密铸件表面质量稳定控制的有效途径之一。
[1] 孙宝德,王俊,康茂东,等.高温合金超限构件精密铸造技术及发展趋势[J].金属学报,2022,58(4):412-427.SUN B D,WANG J,KANG M D,et al.Investment casting technology and development trend of superalloy ultra limit components[J].Acta Metallurgica Sinica,2022,58(4):412-427.
[2] 潘玉洪.熔模铸件常见缺陷分析(五)——气孔[J].凿岩机械气动工具,1989(3):53-61.PAN Y H.Analysis of common defects in investment casting (5)--blowhole[J].Rock Drilling Machinery&Pneumatic Tools,1989(3):53-61.
[3] 戴雪梅,苏清风,朱晓星.荧光渗透检测在航空发动机研制阶段的应用[J].铸造,2011,60(10):994-997.DAI X M,SU Q F,ZHU X X.Application of fluorescent penetrant inspection to manufacturing of aeroengine[J].Foundry,2011,60(10):994-997.
[4] GUPTA M,KHAN M A,BUTOLA R,et al.Advances in applications of non-destructive testing (NDT): A review[J].Advances in Materials and Processing Technologies,2021,8(4):1-22.
[5] GUO Y,RUHGE F R.Comparison of detection capability for acoustic thermography,visual inspection and fluorescent penetrant inspection on gas turbine components[J].AIP Conference Proceedings,2009,1096(1):1848-1854.
[6] TODOROV E I.Nondestructive testing and evaluation[M].Oxford:Elsevier,2022.
[7] TRIMM M.An overview of nondestructive evaluation methods[J].Practical Failure Analysis,2003,3(3):17-31.
[8] 周兆,白海龙,张泽彪,等.荧光渗透法无损检测的原理与应用[J].实验科学与技术,2009,7(1):50-53.ZHOU Z,BAI H L,ZHANG Z B,et al.Principle and application of the fulorescent penetrant inspection[J].Experiment Science and Technology,2009,7(1):50-53.
[9] 韩松涛.自动荧光渗透法检测飞机引擎装置[J].试验技术与试验机,1991(6):42-44.HAN S T.Automatic fluorescent penetrant inspection of aircraft engine system[J].Test Technology and Testing Machine,1991(6):42-44.
[10] ADAIR T L,WEHENER D H,KINDREW M G,et al.Automated fluorescent penetrant inspection (FPI) system is triple A[A].Proceedings of the 1998 IEEE Autotestcon proceedings.IEEE systems readiness technology conference.test technology for the 21st century(Cat No98CH36179)[C].Salt Lake city:IEEE,1998.25-27.
[11] 朱镇,江华.半自动荧光渗透检测流水线的工艺优化[J].无损检测,2021,43(6):70-73.ZHU Z,JIANG H.Process optimization of semi-automatic fluorescent penetrant inspection assembly line[J].Nondestructive Testing,2021,43(6):70-73.
[12] 李健,姚俊丽,倪中娟.化工小工件半自动荧光渗透检测线制造及应用[J].山东化工,2014,43(6):120-121,123.LI J,YAO J L,NI Z J.Chemical small workpiece semi-automatic fluorescence penetrant test line manufacturing and application[J].Shandong Chemical Industry,2014,43(6):120-121,123.
[13] 刘凯.半自动荧光渗透检测生产线[J].无损探伤,2009,33(6):24-25,45.LIU K.Semi-automatic fluorescent penetrant inspection production line[J].Nondestructive Testing Technology,2009,33(6):24-25,45.
[14] S,MS,IR M,ANKARA A.Comparison of two non-destructive inspection techniques on the basis of sensitivity and reliability[J].Materials&Design,2007,28(5):1433-1439.
[15] ZHENG J,XIE W,VIENS M,et al.Design of an advanced automatic inspection system for aircraft parts based on fluorescent penetrant inspection analysis[J].Insight-Non-Destructive Testing and Condition Monitoring,2015,57(1):18-34.
[16] SHIPWAY N J,BARDEN T J,HUTHWAITE P,et al.Automated defect detection for Fluorescent Penetrant Inspection using Random Forest[J].NDT&E International,2019,101:113-123.
[17] KARIGIANNIS J,LIU S,HAREL S,et al.Multi-robot system for automated fluorescent penetrant indication inspection with deep neural nets[J].Procedia Manufacturing,2021,53:735-740.
[18] NICCOLAI A,CAPUTO D,CHIECO L,et al.Machine learning-based detection technique for NDT in industrial manufacturing[J].Mathematics,2021,9(11):1251.
[19] ZHENG J N.Image processing and classification applications in aerospace NDT and honey bee health monitoring[D].Montreal:Concordia University,2012.
[20] ABEND K.Fully automated dye-penetrant inspection of automotive parts[J].Computer Standards&Interfaces,1999,21(2):157.
[21] ALBA C A C.Image acquisition and processing in an attempt to automate the fluorescent penetrant inspection[D].Montreal: École de Technologie Supérieure,2011.
[22] SEKERIN A M.Segmentation of computer-processed images of tested surfaces obtained using the dye-penetrant testing[J].Russian Journal of Nondestructive Testing,2001,37(1):67-73.
[23] SHIPWAY N J,HUTHWAITE P,LOWE M J S,et al.Performance based modifications of Random Forest to perform automated defect detection for fluorescent penetrant inspection[J].Journal of Nondestructive Evaluation,2019,38(2):37.
[24] SHIPWAY N J,HUTHWAITE P,LOWE M J S,et al.Using ResNets to perform automated defect detection for fluorescent penetrant inspection[J].NDT&E International,2021,119:102400.
[25] TANG Y,NIU A,WEE W,et al.Automated inspection system for detecting metal surface cracks from fluorescent penetrant images[M].San Jose:SPIE,1995.
[26] MOORE T,STARR A,HESKETH G.A hierarchical multi-stage data fusion non-destructive evaluation of aero engine components[J].Insight,2004,46(8):468-472.
[27] 张玉峰,王建成.基于荧光渗透图像的火炮内膛裂纹检测系统[A].2013 年全国失效分析学术会议[C].大连:中国机械工程学会,2013.496-499.ZHANG Y F,WANG J C.Atrillery bore crack detection system based on fluoresence image[A].Proceedings of 2013 national conference on failure analysis[C].Dalian: Chinese Mechanical Engineering Society,2013.496-499.
[28] 陈旭,任万春,向琦,等.基于机器视觉的荧光磁粉自动检测系统设计[J].传感器与微系统,2019,38(8):83-86.CHEN X,REN W C,XIANG Q,et al.Design of automatic detection system for fluorescent magnetic powder based on machine vision[J].Transducer and Microsystem Technologies,2019,38(8):83-86.
[29] 蔡柳依婷.小型管件制造表面缺陷荧光渗透图像拼接处理与检测技术[D].广州:华南理工大学,2021.CAI L Y T.Image mosaic and defect de tection technology of small pipe surface defects after fulorescent penetration[D].Guangzhou:South China University of Technology,2021.
[30] 王荣捷,张国才,薛帅.基于机器视觉的渗透荧光缺陷自动检测系统[J].计量与测试技术,2021,48(9):35-38.WANG R J,ZHANG G C,XUE S.Automatic detection system for permeable fluorescence defects based on machine vision[J].Metrology&Measurement Technique,2021,48(9):35-38.
[31] OSMAN A,DUAN Y X,KAFTANDJIAN V.Applied Artificial Intelligence in NDE[M]//MEYENDORF N,IDA N,SINGH R.Handbook of Nondestructive Evaluation 4.0.Switzerland:Springer Cham,2021:443-476.
[32] ZHENG J,XIE W,VIENS M,et al.Design of advanced automatic inspection system for turbine blade FPI analysis[A].Proceedings of the AIP conference proceedings[C].USA: American Institute of Physics,2013.612-619.
[33] 林果,刘桂华.基于主成分分析的荧光磁粉检测缺陷识别技术[J].微型机与应用,2016,35(1):85-87.LIN G,LIU G H.Fluorescent magnetic particle testing defect recognition technology based on principal component analysis[J].Cyber Security and Data Governance,2016,35(1):85-87.
[34] 高敏杰,卜雄洙,孙斌,等.荧光磁粉表面缺陷检测系统[J].无损检测,2017,39(2):67-70,73.GAO M J,PU X Z,SUN B,et al.The surface defect detection system of fluorescent magnetic particle[J].Nondestructive Testing,2017,39(2):67-70,73.
[35] 潘立.闭式叶轮荧光渗透检测缺陷尺寸双目测量[D].南昌:南昌航空大学,2017.PAN L.Binocular measurement study in measuring the closed impellers'size by FPT[D].Nanchang: Nanchang Hangkong Univeristy,2017.
[36] LI X,TSO S K,GUAN X,et al.Improving automatic detection of defects in castings by applying wavelet technique[J].IEEE Transactions on Industrial Electronics,2006,53(6):1927-1934.
[37] MAHENDRA A,STOLZ C,MERIAUDEAU F,et al.Automated inspection of tubular material based on magnetic particle inspection: proceedings of the Image Processing[A].Machine Vision Applications V[C].USA:SPIE,2012:830007.
[38] 初延亮,肖宇峰,刘桂华,等.基于荧光磁粉图像的缺陷检测技术[J].微型机与应用,2014,33(20):32-34.CHU Y L,XIAO Y F,LIU G H,et al.Defect detecting technology based on fluorescent magnetic image[J].Cyber Security and Data Governance,2014,33(20):32-34.
[39] GLEBOV V,LASHMANOV O U.Modelling of microcracks image treated with fluorescent dye[A].Proceedings of the modeling aspects in optical metrology V[C].USA:International Society for Optics and Photonics,2015.95261C.
[40] PASTOR-LÓPEZ I,SANTOS I,SANTAMARÍA-IBIRIKA A,et al.Machine-learning-based surface defect detection and categorisation in high-precision foundry[A].Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications (ICIEA)[C].USA:ICIEA,2012.1359-1364.
[41] PASTOR-LOPEZ I,DE-LA-PENA-SORDO J,ROJAS S,et al.Machine vision for surface defects categorisation in foundries based on machine learning[J].Dyna,2014,89(3):325-332.
[42] LUNDH M.Automatic crack detection in forged metal parts[D].Göteborg:Chalmers University of Technology,2012.
[43] 邓鑫.基于深度学习的荧光磁粉探伤系统研究[D].绵阳:西南科技大学,2020.DENG X.Research on fluorescent magnetic detection system based on deep learning[D].Mianyang: Southwest University of Science and Technology,2020.
[44] HAO H,LI L,DENG Y.Vision system using linear CCD cameras in fluorescent magnetic particle inspection of axles of railway wheelsets[A].Proceedings of the health monitoring and smart nondestructive evaluation of structural and biological systems[C].USA:SPIE,2005.600519.
[45] DU W,SHEN H,FU J,et al.Approaches for improvement of the X-ray image defect detection of automobile casting aluminum parts based on deep learning[J].NDT &E International,2019,107:102144.
[46] KIM B,CHOI S W,HU G,et al.An automated image-based multivariant concrete defect recognition using a convolutional neural network with an integrated pooling module[J].Sensors,2022,22(9):3118.
[47] TAHERITANJANI S,SCHOENFELD R,BRUEGGE B.Automatic damage detection of fasteners in overhaul processes[A].Proceedings of the 2019 IEEE 15th International conference on automation science and engineering(CASE)[C].USA:IEEE,2019.1289-1295.
[48] PASTOR-LÓPEZ I,SANZ B,TELLAECHE A,et al.Quality assessment methodology based on machine learning with small datasets:Industrialcastingsdefects[J].Neurocomputing,2021,456:622-628.
[49] -PASTOR J F,GARC-OSORIO C,BARBERO-GARC V,et al.Imbalanced learning ensembles for defect detection in X-Ray images[A].Recent trends in applied artificial intelligence[C].Berilin:Springer Berlin Heidelberg,2013.7906.
[50] MERY D,ARTETA C.Automatic defect recognition in X-Ray testing using computer vision[A].Proceedings of the 2017 IEEE winter conference on applications of computer vision(WACV)[C].USA:IEEE,2017.119.
[51] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet clas sification with deep convolutional nueral networks[J].Communication of the ACM.2017,60(6):84-90.
[52] LECUN Y,BENGIO Y,HINTON G.Deep learning[J].Nature,2015,521(7553):436-444.
[53] SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv Preprint arXiv:1409.1556,2014.
[54] HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Las Vegas: IEEE,2016.770-778.
[55] SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Boston:IEEE,2015.1-9.
[56] YANG Y,YANG Y,LI L,et al.Automatic defect identification method for magnetic particle inspection of bearing rings based on visual characteristics and high-level features[J].Applied Sciences,2022,12(3):1293.
[57] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once[A].Unified,real-time object detection: proceedings of the IEEE conference on computer vision and pattern recognition[C].Las Vegas:IEEE,2016.779-788.
[58] LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single shot multibox detector[A].Proceedings of the european conference on computer vision[C].Amsterdam:Springer,2016.21-37.
[59] LAW H,DENG J.Cornernet:Detecting objects as paired keypoints[A].Proceedings of the European conference on computer vision(ECCV)[C].Munich:Springer,2018.734-750.
[60] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[A].Proceedings of the 2014 IEEE conference on computer vision and pattern recognition[C].Columbus:IEEE,2014.580-587.
[61] GIRSHICK R.Fast r-cnn[A].Proceedings of the IEEE international conference on computer vision[C].Santiago:IEEE,2015.1440-1448.
[62] REN S,HE K,GIRSHICK R,et al.Faster r-cnn:Towards real-time object detection with region proposal networks[J].Advances in neural information processing systems,2015(28):91-99.
[63] 刘硕,卜雄洙,谷世举.基于YOLOv3 的轴表面荧光磁粉缺陷检测[J].仪表技术,2021(3):49-53.LIU S,PU X Z,GU S J.Defect detection on the fluorescence magnetic particle on the axial surface based on YOLOv3[J].Instrumentation Technology,2021(3):49-53.
[64] YU T,CHEN W,GAO J F,et al.Intelligent detection method of forgings defects detection based on improved efficientNet and memetic algorithm[J].IEEE Access,2022,10:79553-79563.
[65] PRATAP A,SARDANA N.Machine learning-based image processing in materials science and engineering: A review[J].Materials Today:Proceedings,2022(14):7341-7347.
[66] PASTOR-LÓPEZ I,DE-LA-PEÑA-SORDO J,SANTOS I,et al.Surface defect categorization of imperfections in high precision automotive iron foundries using best crossing line profile[A].Proceedings of the 2015 IEEE 10th Conference on Industrial Electronics and Applications(ICIEA)[C].Auckland:IEEE,2015.339-344.
Research Progress and Intelligent Development Trend of Fluorescent Automatic Detection for Investment Castings
康茂东,博士,副研究员.研究方向为高温合金材料及其精密成型研究、新材料与新成型工艺研究.Email:kangmd518@sjtu.edu.cn
王 俊,博士,教授.研究方向为熔体处理与高性能材料、生态材料学、熔模精密铸造.Email:junwang@sjtu.edu.cn
YU H P,KANG M D,WANG J.Research progress and intelligent development trend of fluorescent automatic detection for investment castings[J].Foundry Technology,2023,44(10):953-963.