目前全球正处于新技术革命与产业革命的重要时刻， 其中深海深地深空既是创新最活跃的领域，更是国家科技发展战略的重要组成部分。 我国曾在“十三五”规划纲要中指出，要加强深海、深地、深空和深蓝领域的高技术部署，潜进深海，掘进深地，迈进深空，挺进深蓝，不断向未知的空间开拓，向科技的极限求索。 信息技术驱动的智能制造将是先进技术在这些领域落实最有力的保障。 例如，增材制造(additive manufacturing, AM)在太空智造和在轨智造中发挥着关键作用，利用增材制造能够生产复杂几何结构件和近净成形方面的优势，能极大降低买飞比和成本。 而集成计算材料工程(integrated computational materials engineering, ICME) 和增材制造结合以高通量计算、机器/深度学习、增材实验等手段揭示材料开发中成分-工艺-组织-性能关系，有效减少材料设计和制造之间的鸿沟，加快了新材料的开发和应用[1-4]。
随着人工智能和机器学习等数字化技术的发展，数字孪生智能制造的时代即将到来，智能制造正成为全球制造业转型升级的焦点[5]。 数字技术被认为是提高制造业竞争力的一个重要因素，未来的材料将采用数字孪生智能制造的方法快速生产。 飞速发展的数字技术有力地推动着传统制造走向自动化和智能化，基于先进的人工智能技术所发展的控形控性一体化技术和对工艺质量体系的完善将推动铸造、焊接、增材制造等制造工艺迈上新的台阶。 与传统的物理冶金和铸造相比， 增材制造、焊接、激光熔覆修复、单晶生长等过程的核心理念是对微区冶金过程的控制。 特定过程的不同，导致了温度梯度、冷却速率和热输入的巨大差异，这是传统加工中所没有的。 温度梯度、凝固速率、熔池尺度等关键工艺参量和非平衡条件下固液两相区组织结构和形貌演化规律密不可分， 是影响零部件的微观组织和性能的主要因素，因此，必须比常规工艺更仔细地控制这些参数，以获得高质量和可靠的零件。集成计算材料工程从微观上揭示这些关键工艺参量的作用机制，将为智能制造中先进金属材料的成分-工艺-组织-性能调控提供共性技术和理论支撑，促进增材制造、焊接结构件获得优异的质量性能。已有的报道中， 基于微区冶金控制的增材制造可以实现传统制造未曾实现的优异性能的集合。例如，通过增材方式获取的不锈钢零件同时提高了强度和延展性，这并不符合传统经验中常见的强度-延展性的互斥关系。这种不寻常的表现归因于梯度性的微结构、迟滞但不阻碍位错移动的位错网络、 细晶中的纳米蜂窝状结构、特异性的纹理和孪晶、以及极细小的晶粒度[6]。 此外，机器学习在微区冶金组织的量化方面也取得了进展。 例如，Popova 等[7]使用3D 蒙特卡罗模型计算的频率作为晶粒尺寸函数的结果训练神经网络，以快速预测晶粒生长，结果与蒙特卡罗模型的预测很好地匹配， 建立的低维度数据驱动模型成功地将工艺参数与预测的最终微观结构相关联。 以上结果表明， 通过建模预测和控制非平衡凝固过程以实现智能制造中所追求的成分-工艺-组织-性能调控的可行性。
焊接是一个涉及到传热学、 电磁学、 材料冶金学、固体和流体力学等多学科交叉的复杂过程。微观结构、 性能和缺陷的演变取决于多种同时发生的物理过程。而合金成分、焊接方法和工艺参数的选择会使微观结构、性能和缺陷有着不同的可能，从而影响产品的可用性。焊接过程的错综复杂，使得单纯的理论方法很难解决实际中的问题[6,8]。 数字技术和信息技术的发展正在推动传统焊接工艺的变革， 实现从传统焊接的“控形”加工向集成焊接性能预测和参数调控能力的“控性”技术的提升，进而推动具有机理和规律支撑的、可定量预测和控制的新一代焊接制造体系的形成[9-10]。网络通信技术将生产管理与焊接过程自动控制一体化，而人工神经网络、模糊控制等人工智能技术的应用，使焊接技术可以实现焊缝自动跟踪、焊接工艺参数自我优化、焊接质量实时监控等[8]。
传统焊接工艺面临的主要问题之一是质量监控。 由于传热过程的不确定性，焊接过程中的质量监控具有挑战性。 焊接工艺参数的控制，特别是可以实时反馈的在线控制技术正逐渐成为当前研究的热点。 在焊接加工中，质量、稳定性、成形精度在大规模生产时至关重要。 高精度在线过程监控系统的研究始终是众多研究学者最为关心的问题，这是因为在焊接生产中，焊接条件的轻微改变都会对焊缝的尺寸和强度产生影响，然而操作人员很难用肉眼观察到焊缝尺寸的细微差异，从而无法保证焊缝整体强度的稳定性[11]。因此，在焊件加工过程中亟须发展出保障焊接质量稳定性的在线焊接监控系统。
焊接过程在线监控的实现主要是基于一种或多种传感技术来获取焊接加工状态中的准确信息，并通过监测模块向控制模块反馈信号来改变工艺参数以达到所需目的，过程如图1 所示。 实际上，在主流文献中，关键术语“监测”包括了现场数据收集、特征提取和动态过程建模的过程。 实现焊接的在线监测首先需要确定传感方式， 电弧电压传感、电弧声音信号和视觉信号等是质量检测中信息采集最常用的信息源，其中视觉传感技术因其信息量大、灵敏度高、与工件无接触而最为合适并具有更广泛地应用[13]。在基于视觉的焊接状态监测过程中，常见的监测对象是熔池形状和熔透程度[14]。 焊接熔池是焊工焊接时最直接的信息来源， 可以反应焊接过程的诸多重要信息。例如，焊接熔池的形貌特征直接反映了焊接工艺参数的优劣，并与焊缝成形质量，如熔宽、熔深等直接关联。 因此，通过监控焊接过程中的熔池动态变化，可以实时调整焊接工艺，抑制焊接缺陷，以保证焊接质量[15]。尽管研究人员很早就已经发现焊接过程中动态的视觉信息可用于焊接工艺参数的控制，但受限于信息技术和传感技术的欠缺，在线监测一直是个有挑战性的难题， 而信息技术的变革和人工智能飞跃式的进步为这个问题提供了一种可行性方案。如图2 所示，人工智能技术给多源传感获取的丰富数据注入了分析能力， 不同的焊接监控目标任务均能在数据驱动的人工智能算法下实现。 其中，深度学习最为亮眼，受到研究者的青睐。
图1 电弧焊接的监控系统[12]
Fig.1 Monitoring and control system of arc welding[12]
图2 各种基于人工智能的技术用于数据处理和分析以实现不同的监测目标[16]
Fig.2 Variety of AI-based technologies used for data processing and analysis to achieve different monitoring objectives[16]
深度学习是一种具有多个卷积层的深度神经网络结构。 通过组合低层特征以形成更加抽象的高层表示属性类别或特征， 可以通过边缘和形状等抽象方式更好地提取特征， 以提高深度学习算法的有效性。 深度学习相比于传统特征提取算法有着显著的优势， 许多研究人员尝试将深度学习技术用于产品缺陷检测，提高产品质量[17]。
目前在针对图像处理的任务中运用最广泛的深度学习方法是卷积神经网络(convolutional neural network,CNN)，CNN 已被用作理解图像内容的有效模型结构，在图像检测、分割和识别等方面取得了不错的成果。 取得这些成果背后的关键是将网络扩展到数千万个参数和能够支持学习过程的大量标记数据集。 在这些条件下，CNN 已被证明能够学习到可解释且强大的图像特征[18]。
本文中将介绍基于机器视觉的焊接过程监控系统及其应用， 给出基于数字孪生车间的钛合金焊接非平衡凝固组织性能控制示例研究。 与传统方法相比，基于深度学习的焊缝成型质量预测技术有效地提高了焊缝形貌识别的准确率。
1 基于深度学习的焊接监控系统
1.1 基于机器视觉的信息采集系统
视觉传感以其信息丰富、 模仿人类视觉行为、精度高、通用性好等优点已成为目前最有前景的传感方式之一[19]。 基于机器视觉的焊接监测主要是使用高分辨率、 高帧率的可见光相机记录焊接过程，如图3(a)所示，并使用高性能、高算力的计算机以图形处理等方式对所采集信息进行分析， 以识别焊接质量的好坏。 该分析可以通过特征工程结合已有的冶金知识来手动提取重要特征， 也可以直接或在应用过滤器后向CNN 提供大量数据来执行[20]。按照光源的方式，监控系统可分为被动视觉和主动视觉。被动视觉方法在实际工业条件下更容易实现， 因为焊接热源被用作相机图像的光源， 其结构也更加简单(图3(b))。 而在主动视觉中，使用相机设备和光源来标记和描绘焊接工件。 因为辅助光源可以抑制存在的干扰信息，这将提高所提取的焊接视觉特征的准确性，所以主动视觉方法可以获得更高质量的焊接图像[18,21]。
图3 机器人焊接视觉信息采集系统：(a)不同的视觉监控系统，(b)被动视觉系统结构图，(c)被动视觉系统下的铝合金熔池三光路图像[16,22-23]
Fig.3 Information acquisition system for robot welding vision:(a)different vision monitoring systems,(b)structure diagram of a passive vision system,(c)typical three light path image of aluminum alloy molten pool under a passive vision system[16,22-23]
由于空间限制，单相机传感器不可避免地在数据采集方面有着局限性。 因此，越来越多的研究人员选择使用多个摄像头传感器来观察焊接区域。 通过从不同角度进行监测，为未来的研究提供全面的信息。 上海交通大学的团队[23]开发了一个同时采集焊缝图像的图像采集系统(图3(c))，该系统可以从3个角度对熔池进行同步观察，以提供实时焊缝图像的更多信息。
基于机器视觉的焊接质量在线监测方法主要有以下优点：
(1)智能化 基于机器视觉的检测流程所采用的图像处理算法具有一定的智能化能力， 鲁棒性强，且在后续集成GUI 界面时易用程度更高。
(2)精度高 采用高分辨率、高帧率的工业相机，检测精度较高。
(3)数据可追溯 利用计算机存储检测过程中的各类参数，容易发现和分析焊接参数和焊接质量变化的趋势，有利于后续工艺的优化。
在工业自动化生产领域，机器视觉检测取代人工检测是必然的趋势，但高精度图像的采集产生大数据与视觉检测算法的实时性需求相矛盾， 为此，开发实时性强、准确度高的图像处理算法是机器视觉检测应用的一大问题[24]。
1.2 机器视觉的图像处理技术
在基于机器视觉焊接质量在线监测系统中，视觉检测到的焊缝位置信息和熔池几何信息是整个系统的输入，所以对采集的熔池图像处理的准确性和可靠性将直接影响到整个监测系统的性能。 图像处理一般包括图像预处理和图像识别等内容[25]。
传统的机器视觉算法主要遵循从图像预处理到特征提取、特征选择和特征识别的过程。 这一过程的特点是由人所主导的特征设计、提取和选择过程。 而不同过程之间的相互割裂导致它们之间的过渡阶段具有以下缺点：首先，每个中间任务的结果将影响最终结果，子任务的最优解并不意味着整个过程的最优解。 其次，每个步骤都是单独的子任务，这将严重影响焊接监控系统的整体效率，并使其难以适应复杂多变的生产环境。 第三，人类有限的先验知识将导致数据没有得到充分重视。
鉴于传统图像处理算法不容易得到最优解的问题，目前国内外学者尝试通过深度学习的方法来解决这一问题。 主要研究方向有以下2 种：①利用深度学习算法提取特征并与机器学习方法结合用于焊接熔深预测和故障检测； ②直接建立图像与特征之间的关系[24]。
基于深度学习的焊接图像处理算法可以通过特殊的多层网络结构提取焊接图像的深层抽象特征[26](图4)。其主要思想是通过直接建立焊接图像和焊接状态之间的对应关系， 将模式识别问题转化为优化问题。 自2012 年AlexNet 问世以来，CNN 在几乎所有的计算机视觉任务中的表现都优于过去的领域专家所设计的基于特征的方法[14]。
图4 使用卷积神经网络层特征提取示意图[26]
Fig.4 Schematic diagram of the feature extraction using CNN[26]
1.3 在线监测
在线目标检测任务是建立在图像识别模块的基础上实现的。 基于神经网络的目标检测方法可分为基于回归的一阶段方法和基于候选框生成和分类的2 阶段方法[27]，如图5 所示。
图5 目标检测算法流程图[27]
Fig.5 Diagram of the object detection algorithm[27]
更早出现的目标检测算法是2 阶段方法， 代表性的方法主要有R-CNN、Fast R-CNN 等。 这类算法主要有4 个任务，即特征提取、生成候选框、分类和位置回归。相比之下，一阶段方法不需要预先生成候选框，只需要完成特征提取、分类和位置回归3 个任务。在低输入分离率的情况下，可以同时平衡速度和精度，并且检测速度快，可以达到45FPS 以上。 因此能够胜任实时性检测任务。 代表性的一阶段方法主要分为SSD 系列算法和Joseph 等提出You Only Look Once(YOLO)方法[17]。 相比于SDD 系列算法，YOLO 系列算法在发展与应用中略胜一筹。 YOLO 算法提出于2015 年， 利用整张图作为网络的输入，直接在图像的多个位置上回归出该位置的目标边框，以及目标所属的类别。但是，YOLO 对于小目标和彼此紧密连接的目标单位检测准确性比较差， 泛化能力偏弱。 YOLOv3 是非常经典的目标检测算法，其包含Darknet-53 网络结构、anchor 锚框、FPN（Feature Pyramid Network） 等非常优秀的结构。 后续的YOLO 系列算法在YOLOv3 整体结构不变情况下使用各种新的算法思想对其各个子结构都进行了改进[27]。
1.4 焊接过程控制方法
焊接过程是一个非常复杂的系统， 具有高度的非线性、时变性以及多参数强耦合等特点，这决定了很难用精确的数学模型来对该过程进行描述。因此，焊接过程的控制对控制器的适应性和鲁棒性提出了更高的要求。随着控制理论和控制方法的发展，更多的控制方法被应用于焊接领域， 并取得了良好的控制效果。 PID 控制(proportional-integral-derivative control)是迄今为止焊接中最常见的控制算法。 其他常见的控制算法包括自适应控制、 模糊逻辑控制、神经网络控制、滑模控制、学习控制和智能控制。 自适应控制作为一种实时控制技术，通常用于在线参数优化。 自适应控制系统必须提供关于当前状态的连续信息，以与期望状态进行比较。自适应控制的3个主要变体是带约束的自适应控制、带优化的自适应控制和几何自适应控制。 虽然自适应控制技术更昂贵， 但它们可以通过减少测试中的劳动力和时间成本、 减少部件返工和降低安全合规成本来降低焊接系统的总成本。
各种人工智能方法已应用于焊接控制系统，包括神经网络、贝叶斯概率、模糊逻辑、机器学习、专家系统和遗传算法。 机器学习控制技术因其可靠性和准确性而受到关注[9]。 表1 总结了焊接智能控制的部分文献。
表1 焊接智能控制的示例应用[9]
Tab.1 Select applications of intelligent control in welding[9]
?
2 机器学习算法的应用
在机器视觉和机器学习领域的大量研究为焊接的非平衡凝固组织性能控制提供了大量可供参考的可行性方案和深层次的应用， 利用机器学习算法从传感器数据中提取相关信息来估计过程的状态正越来越受到相关研究者的重视[9]，机器学习被作为预测微观结构、性能和缺陷的工具而广泛使用。因为它不需要基于现象学理解来求解复杂方程， 因此计算速度很快， 对于快速的数据信息流能够很快地响应并提供反馈[35]。
目前机器学习常被应用于焊接过程各个环节的管理。应用范围从工艺规划到参数优化、传感和控制皆包含在内，可用于改善熔合区属性、搜索特定的微观结构和减少缺陷。 以下示例说明机器学习可以在焊接中发挥出重要作用[6]。
2.1 焊缝跟踪-焊接精度
在机器人焊接过程中，如果焊接条件基本不变，那么机器人一般能够很好地完成焊接任务， 并保证焊接质量。但在实际焊接中，常常因为存在各种动态和瞬态的扰动因素， 极大地影响焊缝成形的质量稳定性。 为了克服焊接过程中这些不确定性因素对焊接件质量的影响，迫切需要研究焊缝跟踪技术，实现机器人焊接过程的智能化控制。
基于数学模型的传统焊缝跟踪控制算法可以实现线性定常单输入单输出对象的控制。 但由于焊接过程是复杂多变的过程， 影响焊接质量的因素非常多，很难用具体的数学模型去描述它，传统的控制技术对于焊接过程的准确控制往往显得心有余而力不足，难以达到令人满意的控制效果。为了提高焊缝跟踪控制系统的控制精度，越来越多以神经网络、模糊控制、复合控制、专家系统为代表的人工智能控制方法被引入到焊接智能控制系统中。 通过引入深度强化学习对跟踪行为进行修正， 可进一步提高焊缝跟踪的可靠性和抗干扰能力。 Zou 等[36]提出了一种结合卷积滤波器跟踪和深度强化学习的新型焊缝跟踪方法。 该方法对焊缝特征点检测具有足够的鲁棒性和准确性。 在第一阶段通过训练策略网络以细化卷积滤波器跟踪给出的跟踪位置， 并证明了其必要性和性能。 然后基于所提出的方法设计了一个焊缝跟踪系统，以实现自动、实时的焊缝跟踪。 实验结果表明，焊缝轨迹平滑且连续，所有实验的平均跟踪误差达到0.189 mm，可以满足工业焊接要求。
2.2 熔透监测
在要求的焊接质量中， 焊缝熔透状态通常是最关键的一点，因为焊缝未完全熔透会在高温/压力下导致爆炸， 而过度的熔透会影响流体流动并降低材料性能。 困扰研究者的是，检测熔透状态，即熔化的金属在工件内如何发展，是一项挑战，因为它发生在工件内部，无法被直接观察到。解决这一问题的关键是找到或设计可测量的物理现象， 这些物理现象完全由焊缝熔深决定， 将这些现象与熔深相关联就可以实现熔透状态的间接监测。
如图6 所示， 为实现激光焊接拼焊板的实时熔透状态监测，Zhang 等[37]通过所搭建的同轴视觉监控平台在激光焊接期间捕获交互区的同轴图像，创建了一个表示4 种焊接状态的图像数据集， 用于训练和验证。主要由嵌入式节能计算TX2 和基于卷积神经网络的图像处理算法组成熔透状态诊断单元，其在TX2 上的延迟小于2 ms。且在定制轧制坯料的实际激光焊接过程中，即使照明发生显著变化，也可以实现准确率为94.6%的熔透状态诊断。
图6 基于卷积神经网络的熔透态监测[37]
Fig.6 Penetration detection using the CNN-based method[37]
2.3 焊接缺陷识别
实时或现场焊接缺陷检测有助于在焊接过程中检测缺陷， 即在工艺过程中采取纠正措施或停止焊接以减轻缺陷的不利影响或停止工艺并防止材料进一步浪费[20]。在考虑监测方法之前，了解各种类型的缺陷及其原因是很有帮助的。 这不仅可以提供缺陷生成背后的知识， 而且可以更好地理解不同方法的工作原理[20]。 焊接中常出现的缺陷包括气孔、夹渣、裂纹、未熔合或未熔透、咬边等。
实时缺陷识别实现的基础在于这些缺陷的存在导致某些过程信号异常，如视觉、光谱和电弧声音信号等。 通过对比存在缺陷位置的信号与无缺陷位置信号之间的区别，可以识别相应的缺陷[12]。机器学习算法被研究者用于各种原位的焊接监测， 辅助对各种类型的缺陷进行自动识别[20]。
以焊接中典型的气孔缺陷为例。 气孔缺陷是焊接时金属熔化和凝固过程中常见的一种缺陷。 气孔类焊接缺陷的主要危害包括： 引起焊缝的力学性能下降、焊缝的气密性降低或破坏、诱发焊接接头裂纹的产生[38]。 由于导致气孔缺陷出现的影响因素众多且具有瞬态特性及随机性， 实现精确的在线定位及定量检测极具挑战。 如果能实现焊接过程气孔缺陷的在线监测， 实时调整工艺参数可有效减缓或消除气孔的继续扩展，则可以提高自动化焊接质量可靠性[39]。Ma 等[40]提出一种基于小波包分解(wavelet packet decomposition,WPD)处理和卷积神经网络模型的孔隙度检测方法，如图7 所示，采用滑动窗口扫描算法对信号和焊缝进行扫描， 并对每个滑动窗口中的信号进行WPD 处理，得到时频谱图。 通过分析，当电流滑动窗口的一个小焊缝部分存在孔隙时， 此时信号频谱图杂乱，而当没有孔隙时，信号频谱图清晰，频带集中在低频部分。 随后，Ma 构造了一个6 层的CNN 模型，对不同孔隙率状态下的信号谱图进行分类，预测精度达到90%以上。
图7 基于卷积神经网络的孔隙度缺陷在线检测：(a) 锁孔口图像的处理步骤，(b) 锁孔几何形态特征信号和滑动窗口扫描的WPD 结果，(c)孔隙度状态和相应的信号频谱图，(d)卷积神经网络模型架构[40]
Fig.7 Online porosity defect detection based on a convolutional neural network: (a)the processing procedures of the keyhole opening image,(b)keyhole geometrical morphological characteristic signals and the WPD results of the sliding window scan,(c)porosity status and corresponding signal spectrum graph,(d)the architecture of the CNN model[40]
2.4 工艺参数优化
工艺参数的选择是控制零件质量的最重要因素。 机器学习是预测和优化工艺条件以实现零件所需属性的快速可靠方法。 焊接质量可通过满足质量要求(如焊道几何尺寸和孔隙度)来实现，并通过直接或间接检测焊接过程中涉及的工艺参数来控制。在焊接过程中的最重要任务之一是了解焊接参数如何影响焊道几何尺寸， 并开发合适的模型以预测优秀焊接质量所需的输入参数。通过严格控制焊接参数，可以在焊接工艺的所有环境中实现高质量焊接。 为了理解和评估焊接参数对最佳焊道几何尺寸的影响，国内外研究者已经进行了许多尝试。 其中包括理论研究、数值分析、机理模型和实际焊接应用的人工智能技术。 新兴的人工智能技术因为优秀的控制性能和其在复杂工况下的稳定性而受到研究人员的青睐。
图8所示是一种基于人工智能的激光焊缝几何特征预测方法。 为了评估焊道几何尺寸和焊接参数之间的关系，Lei 等[41]提出了一种结合焊接参数和熔池形态特征的多信息融合神经网络来预测焊缝的几何特征。 首先，Lei 改进了一个光纤激光的同轴监测平台，以获取熔池的清晰图像。 然后，提取了熔池的几个形态特征。 通过使用主成分分析(principal component analysis,PCA) 来减少这些特征的冗余。将焊接速度、激光功率和两个PCA 成分作为4 个特征输入神经网络，而焊缝质量的焊缝腰宽(WW)和焊缝背宽(BW)组成模型的两个输出神经元。 在训练之前，由于神经网络的全局搜索能力，采用遗传算法(genetic algorithm,GA)来优化神经网络的初始权值和偏差。实验结果表明，该项工作提出的模型可以有效和稳定地预测焊缝的几何特征， 平均绝对百分比误差(mean absolute percentage error, MAPE) 小于1%，均方误差(mean square error, MSE)小于0.1%。并且时间分析表明， 包含特征提取和神经网络在内的整个系统过程时间小于90 ms， 可以满足大规模实时薄板激光焊接应用的时间要求。 而由焊接参数和焊缝几何特征建立反向传播可实现工艺参数的选优。 如图9 所示， 对异种钢的激光焊接进行田口实验。 通过光学显微镜和拉伸强度测试进一步研究了优选参数所生成焊缝的微观结构和力学性能。 与未优化的随机参数下的焊缝相比， 工艺参数选优后的焊缝消除了焊接缺陷，提高了力学性能。 结果表明，工艺参数优化对提高实际生产中焊接接头的质量是有效且可靠的[42]。
图8 预测焊缝几何的多信息融合神经网络[41]
Fig.8 The structure of the multi-information prediction model for weld geometry[41]
图9 通过优化参数改善焊缝性能：(a)焊接实验结果与RBPN 模拟结果的比较，(b)由不同工艺参数生成的焊缝横截面，(c)由不同工艺参数制备的拉伸测试样件[42]
Fig.9 Properties of weld seam is improved by using optimized parameters:(a)comparison of experimental and RBFNN-simulated results,(b)the cross section of the weld seam generated by different parameters,(c)tensile-tested specimens generated by different parameters[42]
2.5 面向增材制造的拓展
基于熔化和凝固的增材制造技术与基于熔融的焊接技术有着很高的相似性， 包括与小尺寸和局部热源相关的快速热循环过程， 快速凝固的非平衡性质及其对以下几个主要方面的影响： 内部缺陷的形成、相变、残余应力和变形[43]。
事实上， 现有的关于增材制造的相关研究大多建立在焊接技术和焊接冶金的基础上。 因此， 用于焊接过程非平衡凝固组织性能控制的机器学习先进方法同样可用于监测和控制增材制造， 可用于减少缺陷的形成并提高尺寸精度。 如图10 所示，机器学习应用范围包括预测和优化工艺条件、 监测和控制增材过程以改善熔合区性能和控制零件的几何形状、 快速计算加工条件以实现所需的微观结构和性能、最小化增材制造过程可能存在的缺陷[6]。
图10 机器学习在增材制造中的应用：(a)工艺参数优化，(b)传感和过程控制，(c)零件几何控制，(d)定制微观组织和性能，
(e)减少缺陷[6]
Fig.10 Applications of machine learning in metal printing:(a)process parameter optimization,(b)sensing and process control,(c)control of part geometry,(d)tailoring the microstructure and properties.(e)reducing defects[6]
图10(b)展示了利用机器视觉在线识别Ti-6Al-4V合金打印件缺陷的一种可行路线。 通过将相机拍摄的零件现场照片与CAD 图对比， 用于检测当前层中可能包含缺陷的感兴趣区域。 这些区域可细分为图像中具有复杂空间模式的几个子区域， 这些子区域可用于训练神经网络，以高精度实时检测缺陷[44]。作者先后进行了3 部分的工作来验证该方法的可行性。首先，使用通过计算机视觉算法获得的粉末特性数据来训练支持向量机，用于进行过程控制[45]。 其次，增强了多层分类器[46]的过程监控系统，可以根据生产相同零件的相同机器提供的数据提供控制策略，以最小化PBF-L(laser powder bed fusion)中的缺陷形成。 最后， 使用支持向量机对光学传感器的数据进行分析[47]，以检测DED-L(directed energy deposition)期间的缺陷。 这些工作显示了在依靠最少的人为干预的情况下对3D 打印过程进行现场监测和控制的可行性。
3 讨论
现代焊接技术自诞生以来一直受到诸多学科最新发展的直接影响。随着材料、信息技术、传感、计算机等学科发展， 焊接行业正经历着从传统的手工逐渐向自动化、智能化、柔性化的过渡，这已成为公认的发展趋势[8]。 可以预见，智能焊接正不可避免地走向工业4.0 范式。 原位分析系统即数字孪生(digital twin,DT)，是材料科学数字化的内核与核心部分。在材料冶金中很重要的，就是追求高保真度，这一高保真度建模就是DT。 DT 实际上就是描述一系列的输入和输出之间关系的模型。 DT 建模有2 种办法：一种以物理化学模型为基础， 用大数据和人工智能对其中重要的参数和关系进行不断修正， 这是一种以模型驱动的建模方法。 另外一种办法就是用最新的大数据加机器学习结合过程数据， 建立模型来具体描述这一过程，即数据驱动的建模方法。 相比而言，第二种建模方法具有更高的保真度[48]。
车间是制造业的基础单元， 因此车间的数字化和智能化是实现智能制造的迫切需要。 随着信息技术的深入应用， 车间在数据实时采集、 信息系统构建、数据集成、虚拟建模及仿真等方面持续保持高速的发展态势，在此基础上，实现车间信息与物理空间的互联互通与进一步融合将是车间的发展趋势，也是实现车间智能化生产与管控的必经之路[49]。例如，西北工业大学凝固技术国家重点实验室联合西部超导材料科技股份有限公司和中国船舶集团有限公司第七二五研究所面向钛合金在深海装备中的应用，为了解决钛合金关键管路管件全寿命周期的质量管控的技术难题， 开发了钛合金关键管路特种加工数字孪生集成应用HCPS(Human-Cyber-Physical Systems)系统架构，在信息交互层实现物理系统与信息系统的互相连通。 利用数字孪生模型的计算结果，充分结合材料、工艺以及检测专家的技术决策，针对钛合金换热器焊接过程， 通过先进的焊接传感设备和智能数据感知、自动采集技术，监控焊接过程焊接电流、焊接电压等工艺参数；利用机器视觉技术识别提取焊缝横向和纵向解剖后的焊缝深度、 热影响区形貌特征，将形貌特征进行数据转化，与材料-工艺数据库同步， 并建立焊接工艺参数与焊接影响区冶金特征关系及多物理场仿真模型， 优化焊接工艺，实现焊接工艺的数字孪生。为保证产线装备的智能在线诊断、工艺参数智能优化、管路质量的实时控制提供有力的物理层数据支撑。
基于深度学习和机器视觉的钛合金管路封焊过程质量控制是该系统所集成的技术之一。
(1)基于BP(backpropagation)神经网络的工艺-质量预测 多层焊焊缝的成形质量预测目前仍然是一个难题，这是因为其每一层的焊接电流、电弧电压、焊接速度对最终焊缝质量影响都比较大，多层焊每一层的焊接过程中存在复杂的交互作用， 因此这些复杂的因素与焊缝成形质量之间具有非线性特征[50]。 这决定了很难用精确的数学模型来对该过程进行描述。 人工神经网络可以对复杂非线性系统进行建模及预测，适合用于焊缝工艺-质量的预测研究。
本研究通过15 组试验获取典型样本数据，基于Python 语言建立主要焊接工艺参数和焊缝成形质量间的反向传播神经网络模型， 预测焊接参数对成形质量的影响规律，以优化焊接工艺参数，进一步提高焊缝成形质量。
本次实验采用TPR2000 全自动管板封焊系统进行脉冲电流下的惰性气体钨极保护焊(P-GTAW)实验， 选择的焊接材料为尺寸400 mm×200 mm×20 mm的Gr12 板材，直径0.8 mm 的TA2 焊丝，保护气为99.9%的氩气，气体流量15 L/min。 为了测试在不同焊接参数情况下焊缝熔池的几何形状变化， 以焊接电流、焊接速度和脉冲频率为因素设计实验。所设计的主要焊接参数作为BP 网络的输入层。 在对多层焊钛合金板件进行解剖后测量了焊缝宽度、 焊缝深度和余高作为焊缝成形质量的BP 神经网络预测模型的输出。如图11 所示，将实验中12 组用于训练和验证模型，3 组作为最后的测试。 结果表明，BP 神经网络能够较为准确的映射GR12 钛合金P-GTAW多层焊的焊接参数与焊缝成型质量之间的非线性关系，相对误差较小，可用于多层焊的焊缝成形质量控制。
图11 基于BP 神经网络的焊缝几何预测
Fig.11 Prediction of weld geometry based on the BP neural network
(2)基于深度学习的视觉-成形质量评估 相比于GTAW，P-GTAW 有着更好的热输入表现， 能缓解在连续焊接过程中热量累积对焊缝组织性能的影响和残余应力导致的零件变形，但是P-GTAW 的过程传感和控制也因更加复杂而少有研究。 因此，P-GTAW 的原位监控在现代工业生产中的有着很大的潜力。针对P-GTAW 焊缝成形质量在线识别准确率低、特征工程依赖性强的问题，提出了基于机器视觉和卷积神经网络的P-GTAW 焊缝成形识别方法。 为实现P-GTAW 的过程控制问题，以脉冲钨极自动化焊接为研究对象， 以实现焊缝成形质量控制为目的， 深入研究了脉冲钨极气体保护焊的焊接过程中正面熔池的传感方式、 熔深和熔宽的影响因素及预测建模以及焊缝几何的智能化控制等。
首先，构建了P-GTAW 熔池图像数据集。 搭建了熔池视觉的采集平台，包括P-GTAW 焊接平台以及视觉采集系统。 通过上述GR12 钛合金的P-GTAW焊接试验，获取大量不同焊缝形貌的熔池图像，利用OpenCV 将焊接过程视频提取为熔池图像集合。 因为起（收）弧阶段影响焊缝成形质量的因素更多，情况更复杂，与一般焊接过程中的熔池图像差异较大，可能会影响熔池图像数据集的质量， 故在图像数据集中剔除相应的图像。随后，对剩余图像的感兴趣区域(region of interest, ROI)进行裁剪，并进行图像增强，作为数据集。根据焊后对焊缝进行解剖测量得到的实际成形参数， 对焊接过程的熔池图像的类别进行划分，并对样本数量进行平衡，以避免数据集不同类别样本量差别过大，影响模型的训练结果。将全部的样本划分出训练集、验证集(训练集和验证集可通过K 折交叉验证的方法而存在重合，以保留更多用于训练的数据数量)和测试集。 其中，训练集用于训练深度学习模型，学习特征参数；验证集用于评估模型性能，选择合适的超参数；测试集用于最终评估模型的性能。
其次，如图12 所示，开发了一种用于焊接成形参数识别的卷积神经网络， 用于处理高速相机拍摄的钛合金P-GTAW 熔池原位图像，以不同功率和焊接速度以及脉冲频率下的实时熔池图像作为训练集来训练神经网络， 结合钛合金管板焊后表征所得几何形貌和熔池深度数据， 建立GR12 钛合金P-GTAW熔池图像和焊缝成形质量(熔宽、熔深、余高)的映射关系。 并通过改进损失函数以及合理选择优化算法等方式对所设计的卷积神经网络进行优化。
图12 基于卷积神经网络的焊缝几何视觉学习
Fig.12 Graphic learning of weld geometry based on a convolutional neural network
在此基础上， 通过迁移学习进一步提升卷积模型的识别准确率， 将基于ImageNet 的VGG16、ResNet34、MobileNet_v2 以及DenseNet101 等深度神经网络预训练模型应用于焊缝形貌的识别。 比较了各模型在不同训练策略中的综合性能(总体的精度和不同状态的单项识别准确率)，结果表明基于迁移学习的模型能大幅提升P-GTAW 焊缝形貌识别模型的验证准确率，缩短训练时间，增强模型泛化能力。
(3)基于机器学习和高通量表征的非平衡凝固组织控制 在对焊缝宏观成形质量进行分析取得一系列结果的同时， 对焊缝非平衡凝固下的微观组织控制也进行了规划。 微观组织表征和分析是微观世界材料科学研究的基础，是将材料结构与成分、加工过程与性能联系起来的纽带。 不同于以往的微观组织量化，需要人类决定测量目标，并为其设计一种方法。 机器视觉和机器学习的最新进展为从微观组织图像中提取信息提供了新的方法[51-52]。包括计算机视觉和机器学习在内的人工智能方法可以学习复刻人类的视觉决断，这些数字工具能以客观、自主和高效的方式对微观组织进行量化。 使用基于特征的表示或卷积神经网络层对微观组织图像中包含的视觉信息进行编码的计算机视觉方法，能够为在高维图像表征中找到关联和趋势的有监督或无监督机器学习算法提供输入[51]。 用于微观组织表征和分析的机器视觉-机器学习系统涵盖了多种图像分析任务，包括图像分类、语义分割、目标检测和实例分割等。 将机器学习/ 计算机视觉这些数字工具引入对微观组织的研究有助于开发新的、丰富的视觉指标和发现全面的工艺-组织-性能关系。
4 结论
(1)基于机器视觉的监测技术能获得熔池中更宏观和丰富的信息，继而提取出影响焊接质量的特征，这些焊缝特征(包括焊缝外观和缺陷)对决定力学性能、蠕变性能和焊缝质量起着重要作用。
(2)以深度学习为代表的先进技术，相比于传统图像处理技术，因为其出色的预测精度和极快的计算速度而被越来越多地应用于焊接的智能控制中。
(3)大数据驱动的数字孪生建模成为了未来材料冶金研究中可以与物理化学模型驱动的研究方法相媲美的另一种可能。
(4)基于高性能计算和实验平台研究了钛合金焊接非平衡凝固组织性能的智能控制， 通过BP 神经网络建立工艺参数-成形质量预测模型， 在此基础上研究了钛合金P-GTAW 焊缝成形质量的在线监测， 通过构建基于CNN 的分类模型来检测P-GTAW中成形参数(熔深、熔宽、余高)，最终实现焊接质量的控制。参考文献：
[1] LI P X, ZHANG Y, WANG W Y, et al. Coupling effects of high magnetic field and annealing on the microstructure evolution and mechanical properties of additive manufactured Ti-6Al-4V[J].Materials Science and Engineering:A,2021,824:141815.
[2] WANG W Y,TANG B,LIN D,et al.A brief review of data-driven ICME for intelligently discovering advanced structural metal materials:Insight into atomic and electronic building blocks[J].Journal of Materials Research,2020,35(8):872-889.
[3] MOTAMAN S A H,KIES F,KÖHNEN P,et al.Optimal design for metal additive manufacturing: An integrated computational materialsengineering(ICME)approach[J].JOM,2020,72(3):1092-1104.
[4] COUNCIL N R. 3D Printing in Space[M]. Washington DC: The National Academies Press,2014.
[5] 张颖，宋建丽，王毅，等.基于数字孪生技术的金属材料力学标准试样高通量制备与原位铸造性能测试系统[J]. 铸造技术，2022,43(2): 77-82.ZHANG Y, SONG J L, WANG W Y, et al. Integrating high-throughput manufacturing of standard mechanical specimens and in-situ castability measurement via digital twin technologies[J].Foundry Technology,2022,43(2):77-82.
[6] DEBROY T,MUKHERJEE T,WEI H L,et al.Metallurgy,mechanistic models and machine learning in metal printing [J]. Nature Reviews Materials,2021,6(1):48-68.
[7] POPOVA E, RODGERS T M, GONG X, et al. Process-structure linkages using a data science approach: application to simulated additive manufacturing data[J]. Integrating Materials and Manufacturing Innovation,2017,6(1):54-68.
[8] 李风波，潘川，杨文华，等. 海洋工程用高强钢焊接技术研究现状及发展趋势[J].金属加工(热加工)，2021(8):35-38.LI F B, PAN C, YANG W H, et al. Research status and development trend of welding technology for high strength steel used in marine engineering[J].MW Metal Forming,2021(08):35-38.
[9] WANG B C,HU S J,SUN L,et al.Intelligent welding system technologies: State-of-the-art review and perspectives[J]. Journal of Manufacturing Systems,2020,56:373-391.
[10] 宋天虎.用智慧推动焊接制造的进步[J]. 电焊机，2013,43(5):1-9.SONG T H.Promoting the progress of the welding manufacturing by intelligence[J].Electric Welding Machine,2013,43(5):1-9.
[11] PARK H,RHEE S.Estimation of weld bead size in CO2 laser welding by using multiple regression and neural network[J].Journal of Laser Applications,1999,11(3):143-150.
[12] XIA C, PAN Z, POLDEN J, et al. A review on wire arc additive manufacturing:Monitoring,control and a framework of automated system[J].Journal of Manufacturing Systems,2020,57:31-45.
[13] ZHANG K, YAN M Z, HUANG T Y, et al. 3D reconstruction of complex spatial weld seam for autonomous welding by laser structured light scanning[J].Journal of Manufacturing Processes,2019,39:200-207.
[14] LIU T, WANG J, HUANG X, et al. 3DSMDA-Net: An improved 3DCNN with separable structure and multi-dimensional attention for welding status recognition[J]. Journal of Manufacturing Systems,2022,62:811-822.
[15] 肖润泉，许燕玲，陈善本，等. 焊接机器人关键技术及应用发展现状[J].金属加工(热加工),2020(10):24-31.XIAO R Q,XU Y L,CHEN S B,et al.The key technology and application development of welding robot[J]. MW Metal Forming,2020(10):24-31.
[16] CAI W, WANG J, JIANG P, et al. Application of sensing techniques and artificial intelligence-based methods to laser welding real-time monitoring:A critical review of recent literature[J].Journal of Manufacturing Systems,2020,57:1-18.
[17] YANG J, LI S, WANG Z, et al. Using deep learning to detect defects in manufacturing: A comprehensive survey and current challenges[J].Materials,2020,13(24):5755.
[18] MUHAMMAD J, ALTUN H, ABO-SERIE E. Welding seam profiling techniques based on active vision sensing for intelligent robotic welding[J].International Journal of Advanced Manufacturing Technology,2017,88(1-4):127-45.
[19] CHEN H B, CHEN S B. Key information perception and control strategy of intellignet welding under complex scene[J].Acta Metallurgica Sinica,2022,58(4):541-550.
[20] MADHVACHARYULA A S,PAVAN A V S,GORTHI S,et al.In situ detection of welding defects:a review[J].Weldingin the World,2022,66:611-628.
[21] FAN X A, GAO X D, LIU G Q, et al. Research and prospect of welding monitoring technology based on machine vision[J].International Journal of Advanced Manufacturing Technology, 2021,115(11-12):3365-3391.
[22] XU Y L, FANG G, LV N, et al. Computer vision technology for seam tracking in robotic GTAW and GMAW[J]. Robotics and Computer-Integrated Manufacturing,2015,32:25-36.
[23] 许燕玲. 基于视觉及电弧传感技术的机器人GTAW 三维焊缝实时跟踪控制技术研究[D].上海：上海交通大学，2013.XU Y L.Research on real-time tracking and control technology of three-dimension welding seam during welding robot GTAW process based on vision sensor and arc sensor[D].Shanghai:Shanghai Jiao Tong University,2013.
[24] 高垠芮. 基于机器视觉的激光焊接质量在线监测算法研究[D].上海：东华大学，2022.GAO Y R. Research on on-line monitoring algorithm of laser welding quality based on machine vision [D].Shanghai:Donghua University,2022.
[25] 范俊峰，景奉水，方灶军. 基于视觉传感的焊缝跟踪技术研究现状和发展趋势[J].热加工工艺，2017,46(5):6-10,14.FAN J F, JING F S, FANG Z J. Research status and development trend of welding seam tracking technology based on vision sensors[J].Hot Working Technology,2017,46(5):6-10,14.
[26] BACIOIU D, MELTON G, PAPAELIAS M, et al. Automated defect classification of aluminium 5083 TIG welding using HDR camera and neural networks[J].Journal of Manufacturing Processes,2019,45:603-613.
[27] 赵佳乐，王广龙，周冰，等. 深度学习下高光谱图像目标检测技术研究进展[J].激光杂志，2022,43(10):1-6.ZHAO J L,WANG G L,ZHOU B,et al.Progress in hyperspectral image target detection based on deep learning [J]. Laser Journal,2022,43(10):1-6.
[28] GÜNTHER J, PILARSKI P M, HELFRICH G, et al. Intelligent laser welding through representation,prediction,and control learning: An architecture with deep neural networks and reinforcement learning[J].Mechatronics,2016,34:1-11.
[29] JIN Z,LI H,GAO H.An intelligent weld control strategy based on reinforcement learning approach[J]. The International Journal of Advanced Manufacturing Technology,2019,100(9):2163-2175.
[30] LIU Y K,ZHANG W J,ZHANG Y M.Dynamic neuro-fuzzy-based human intelligence modeling and control in GTAW[J]. IEEE Transactions on Automation Science and Engineering, 2015, 1(1):324-335.
[31] ZHANG G J, CHEN S B, WU L. Intelligent control of pulsed GTAW with filler metal [J].Welding Journal,2005,84 (1):9-16.
[32] CHU W H,TUNG P C.Development of an automatic arc welding system using a sliding mode control[J]. International Journal of Machine Tools and Manufacture,2005,45(7):933-939.
[33] LEE C Y, TUNG P C, CHU W H. Adaptive fuzzy sliding mode control for an automatic arc welding system[J].The International Journal of Advanced Manufacturing Technology, 2006, 29(5):481-489.
[34] VILLAN A F, ACEVEDO R G, ALVAREZ E A, et al. Low-cost system for weld tracking based on artificial vision[J].IEEE Transactions on Industry Applications,2011,47(3):1159-1167.
[35] JORDAN M I, MITCHELL T M. Machine learning: Trends, perspectives,and prospects[J].Science,2015,349(6245):255-260.
[36] ZOU Y, CHEN T, CHEN X, et al. Robotic seam tracking system combining convolution filter and deep reinforcement learning[J].Mechanical Systems and Signal Processing,2022,165:108372.
[37] ZHANG Z, LI B, ZHANG W, et al. Real-time penetration state monitoring using convolutional neural network for laser welding of tailor rolled blanks[J].Journal of Manufacturing Systems,2020,54:348-360.
[38] 黄清辉，项杰波，赵明勇. 某核电厂钢衬里埋弧焊焊缝气孔分析及改进措施[J].焊接技术，2022,51(1):101-105.HUANG Q H, XIANG J B, ZHAO M Y.Analysis and improvement measures of porosity in submerged arc weld of steel lining in a nuclear power plant[J].Welding Technology,2022,51(1):101-105.
[39] 张志芬，张林杰，杨哲，等. 航空航天用铝合金机器人焊接内部气孔缺陷在线检测[J].航空制造技术，2019,62(Z2):14-24.ZHANG Z F,ZHANG L J,YANG Z,et al.On-line inner porosity defect detection of aluminum alloy robotic welding for aerospace[J].Aeronautical Manufacturing Technology,2019,62(Z2):14-24.
[40] MA D Y, SHU L S, ZHOU Q, et al. Online porosity defect detection based on convolutional neural network for Al alloy laser welding[J].Journal of Physics:Conference Series,2021,1884(1):012008.
[41] LEI Z,SHEN J,WANG Q,et al.Real-time weld geometry prediction based on multi-information using neural network optimized by PCA and GA during thin-plate laser welding[J]. Journal of Manufacturing Processes,2019,43:207-217.
[42] AI Y W,SHAO X Y,JIANG P,et al.Process modeling and parameter optimization using radial basis function neural network and genetic algorithm for laser welding of dissimilar materials[J].Applied Physics A,2015,121(2):555-569.
[43] OLIVEIRA J P,SANTOS T G,MIRANDA R M.Revisiting fundamental welding concepts to improve additive manufacturing:From theoryto practice[J].Progress in Materials Science,2020,107:100590.
[44] IMANI F, CHEN R, DIEWALD E, et al. Deep learning of variant geometry in layerwise imaging profiles for additive manufacturing quality control[J].Journal of Manufacturing Science and Engineering,2019,141(11):111001.
[45] DECOST B L,JAIN H,ROLLETT A D,et al.Computer vision and machine learning for autonomous characterization of AM powder feedstocks[J].JOM,2017,69(3):456-465.
[46] AMINI M, CHANG S I. MLCPM: A process monitoring framework for 3D metal printing in industrial scale[J].Computers&Industrial Engineering,2018,124:322-30.
[47] MAZUMDER J. Design for metallic additive manufacturing machine with capability for “certify as you build”[J].Procedia CIRP,2015,36:187-92.
[48] 李晓芳. 王国栋院士： 材料科技的数字化转型和钢铁创新基础设施的建设[J].高科技与产业化，2021,27(11):18-21.LI X F. Academician Wang Guodong: digital transformation of materials technology and construction of steel innovation infrastructure[J].High-Technology & Commercialization,2021,27(11):18-21.
[49] 陶飞，张萌，程江峰，等. 数字孪生车间——一种未来车间运行新模式[J].计算机集成制造系统，2017,23(1):1-9.TAO F,ZHANG M,CHENG J F, et al. Digital twin workshop: A new paradigm for future workshop[J].Computer Integrated Manufacturing Systems,2017,23(1):1-9.
[50] 乌日根， 王玉荣.基于RBF 人工神经网络的机器人焊缝成形质量预测[J].焊接技术，2022,51(9):102-105,144.WU R G, WANG Y R. Quality prediction of robot welding seam molding basic on RBF artificial neural network[J].Welding Technology,2022,51(09):102-105,144.
[51] HOLM E A, COHN R, GAO N, et al. Overview: computer vision and machine learning for microstructural characterization and analysis[J].Metallurgical and Materials Transactions A, 2020,51(12):5985-5999.
[52] CHOWDHURY A,KAUTZ E,YENER B,et al.Image driven machine learning methods for microstructure recognition[J]. Computational Materials Science,2016,123:176-187.