汽车行业潮模砂铸造领域,由于其生产工艺复杂,制造过程长,单位的生产质量波动较大,导致质量问题追溯困难。一汽铸造公司铸造一厂MES 系统以实际生产需求为基础, 采用计算机及通讯技术与各类生产设备、传感器、图像识别设备、应用系统(包括ERP 系统、各工序自动化控制系统、光谱分析系统、测温系统、试验检测系统等)集成,结合对移动端、PC 端的人工数据采集,通过信息技术对各工序、各系统、各设备、各类型的过程数据与原材料信息数据及操作者现场实录数据进行采集、处理,结合工艺标准、质量标准及数据治理规范,对采集到的这些多源异构数据进行融合处理。 在此过程中,需要把不同来源、格式、特性的数据在逻辑上或物理上有机地集中,才能为其他系统应用提供规范统一的数据[1]。 系统实现过程解有5 个难点:①数据多源,包括设备PLC、传感器[2-4]、上位机、人工录入数据及试验检测类数据, 且各类PLC 设备的品牌、型号、接口条件不一致。 ②数据异构,数据源包括ERP数据、人工录入文件等结构化数据,PLC 数据、照片数据、CSV 数据、文本文件等非结构化数据。③数据分散,数据来自不同类型设备控制器的缓存、不同种类数据库、上层应用系统接口数据表、各类传感器[5-7]等。④数据质量,各数据源数据质量状态不一,一部分满足采集后即可按条件存储的要求,一部分需要采集后进行数据转换才能存储使用。 ⑤数据管理,铸造工艺参数的元数据,生产、质量、设备、能耗和环保数据指标集,不同场景下数据管理标准不一样,影响现有数据的采集、存贮、使用的规范化、标准化。
针对上述难点,本文通过研究多源异构数据规范治理、分析与融合技术,应用到本厂MES 系统建设中, 实现铸件生产过程中多源异构数据的标准化、格式化存储,并与铸件一一对应。 通过MES 系统的应用实践, 实现了复杂铸件产品的单体100%可追溯率,重点铸件采取针对性控制措施,产品质量可提高10%~20%,也使生产效率提升10%~20%。
汽车行业潮模砂铸造领域一般包括熔化、配砂、制芯、造型、清理等工序。由于历史规划、建设不同步等原因,各工序、各系统、各设备的孤岛现象非常严重,甚至有些设备数据根本不开放,且缺乏有效的数据管理机制,导致各类数据缺失、不一致等,成为现代企业想要充分挖掘数据价值、 利用大数据进行质量预测分析及经营决策的瓶颈。要解决上述问题,必须实现工厂级数据集成融合, 针对不同数据源采取不同的集成融合[8]手段,包括批融合与流融合及批流结合等, 借助统一数据采集平台进行底层数据采集、标准转换、规范存储及发放共享。 图1 为数据集成一般架构。 由图可知平台核心具备丰富的通讯协议、设备驱动及接口方式,支持广泛的数据类型,可按需采集批量数据和实时数据, 向上可将各类数据按相关标准进行转换后存入数据湖或数据库中,也可以直接与各系统进行接口, 满足应用系统对异构数据、多源数据、分散数据的整合。
图1 数据集成一般架构
Fig.1 General architecture of data integration
数据融合可广泛应用于各个行业的数字化系统,但要结合各自行业的特点进行数据融合,采取最有效、最适合的方法进行各自行业的数据融合处理。汽车行业铸造领域数据融合[9-10]一般可分为数据获取、数据清洗、数据转换、及数据融合等流程,需保障数据的准确性、及时性、稳定性及一致性[11]。
首先要与各类设备、 系统建立通讯并获取相关数据,此处以PLC 数据采集存储为例(图2)。 建设车间级或者厂级的基础设施,包括环形网络、边缘设施、设备通讯模块改造,要考虑设备模块及网络的统一通讯协议选择,设备之间、设备与系统之间的通讯安全及有效隔离,以防止数据干扰,同时IP 地址必须要统一分配,包括设备局域网IP、生产办公网IP 的分配管理,以防止IP 冲突导致设备宕机,并统计收集好要集成的数据内容及对应的变量地址。然后根据不同品牌不同型号的PLC 选择相应的驱动程序以建立通讯,在数据处理平台内进行组态及脚本编程, 经过如下脚本编程可以将非结构化的PLC 变量数据及传感器数据[12-15]等转化为结构化的数据进行存储共享,为设备状态监控、寿命预警、质量追溯、质量预警、生产实绩监控、刀具寿命预警提供基础数据支撑。
图2 PLC 数据采集存储
Fig.2 PLC data collection and storage
数据采集存储脚本编程如下:
Dim rhks,lc,strSQL
Dim newlc
Setrhks=HMIRuntime.Tags("RH_ZPL_CSKS_A")
rhks.Read'融化开始
Set lc=HMIRuntime.Tags("RH_ZPL_LCJS_A")
lc.Read'炉次
If Len(lc.value)=1 Then
newlc="00"&lc.value
Elseif Len(lc.value)=2 Then
newlc="0"&lc.value
Elseif Len(lc.value)=3 Then
newlc=lc.value
Else
newlc=lc.value
End If
If rhks.Value=1 Then
OpenDataBase_Config
strSQL="insert into PLCFurnace (pkey, productionCode, prodUnitCode, prodUnitName, furnaceType,waterStart, status, type) values (PLCPouringWaste_n_s.NEXTVAL, 'A', 'A', 'A', 'A"&newlc&"', sysdate, '0','2')"
With objCommand
.ActiveConnection=objConnection
.CommandText=strSQL
EndWith
Set objRecordset=objCommand.Execute
CloseDataBase_Config
TxtRecord("中频炉A---出水开始---"&newlc&"")
End If
--------
Public strSQL
Public strConnectionString
Public objRecordset
Public objConnection
Public objCommand
Sub OpenDataBase_Config
'strConnectionString="Provider=OraOLEDB.Oracle.1; User ID =c##WINCC; PASSWORD =WINCC;DATA SOURCE=10.67.68.226:1521/orcl;"
strConnectionString="Provider=OraOLEDB.Oracle.1;User ID=FF_MES; PASSWORD=fAXpzE3z6Qiz;DATA SOURCE=jtmes;"
Set objConnection =CreateObject ("ADODB.Connection")
objConnection.ConnectionString =strConnection-String
objConnection.Open
Set objCommand =CreateObject ("ADODB.Command")
End Sub
Sub CloseDataBase_Config
Set objCommand=Nothing
Set objRecordset=Nothing
objConnection.Close
End Sub
一般情况下数据采集清洗是从多个业务系统、设备中抽取数据,包含人工录入数据,这一过程避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据称为“脏数据”。与各设备、系统以及各数据库连接获取到的数据经常会有重复、无效等脏数据出现,需要进行清洗以便应用系统更有效的利用数据,主要是指发现并纠正大量数据中可识别的错误,包括数据去重、处理无效值和缺失值等。 在数据入湖前对这些多源数据进行统一标准规范化转化清洗,对数据质量和高效共享利用意义重大。 要按照一定的规则把这些不完整(无效)、冗余、干扰“脏数据”去掉,保留符合要求的数据,这就是数据清洗[16],如下数据清洗脚本所示,数据清洗一般由编程脚本语言自动执行,将清洗过的数据按标准规范化后存入数据湖或数据库中。
数据清洗脚本:
Select a.ROWID,
a.*
FROM
MesRecProducePlan_View a
WHERE
a.ROWID ! =(SELECT max (b.ROWID) FROM MesRecProducePlan_View b WHERE
a.BODYNO=b.BODYNO)
ORDER BY
a.bodyno DESC
delete from MesRecProducePlan_View a where
where a.rowid!=(SELECT max(b.ROWID)FROM MesRecProducePlan_View b WHERE
a.BODYNO=b.BODYNO)
由于多源数据涉及到的系统、设备、人员多样且建设年代、开发语言、数据库版本不一,因此有时采集到的数据缺位、不全,比如公司名称、产线代码、产品型号、表结构不匹配等,但此类数据对产品质量的追溯、 各种设备可动率的计算至关重要。 如图3 所示,红色标记区域通过数据转换形成标准数据,供其他应用系统调用。
图3 数据转换
Fig.3 Data conversion
数据融合在多信息源、 多平台和多用户系统内起着重要的处理和协调作用[17],保证了数据处理系统各单元及其他系统间的通信及数据传输。 多源采集到的数据经过清洗转换后, 存入数据湖或数据库中,可被其他系统随时高效调用,比如铸造产品的全面质量追溯,就需要将熔化工序、制芯工序、配砂工序、造型工序及清理工序的各类设备数据、原料数据、人员数据及相关系统数据进行全面融合[18-19], 下面以光谱检测数据融合为例进行说明。
如图4 所示,每次样件进行光谱检测后,会在光谱上位机中形成一份单独的CSV 文件,文件内容只包含部分的原始数据,所有的数据之间无法形成关联性,异常的参数全靠人为识别,存在不能自动报警、无法形成有效的查询策略等弊端。 为了提高查询、追溯的效率并能针对异常进行报警提示,需要对光谱检测数据进行融合,如图5 所示。光谱数据融合后的应用界面,便于工艺、质保人员进行历史查询、实时查询、质量追溯绑定以及大数据应用等功能。
图4 光谱CSV 原始数据
Fig.4 Spectral CSV raw data
图5 光谱数据融合转换后的MES 应用界面
Fig.5 MES application interface after spectral data fusion conversion
源数据和目标数据的一致性至关重要,否则数据就没有任何意义。 造成数据不一致的原因有:数据冗余、并发堵塞、网络故障、设备故障等。 以网络通讯故障为例,为保障双边数据的一致性,需要进行边缘存储、断点续传等操作。 在正常情况下,数据先进入边缘侧,由边缘侧进行清洗后上传数据湖或数据库,且边缘侧靠近设备,与设备的通讯不会中断。当边缘侧与数据湖或数据库的通讯中断,数据传输即中断,当通讯恢复后,如下处理数据一致性问题所示,根据接口触发条件、日志判断、数据校验等可进行断点续传,保障了源端与目标端的数据一致。
处理数据一致性问题:
If(Offset<fs.Lenth)
{
I f(0 <(int)(fs.length-Offset)&&(int)(fs.Length-Offset)<Count)
{
Count=(int)(fs.length-Offset);
}
BtBuf=new byte[count];
Fs.Seek(Offset,System.IO.SeekOrigin.Begin);
Fs.Read(btBuf,0,Count)
}
利用上述数据融合的功能, 对生产环节中的所有质量数据进行采集,如图6 所示。建立全面质量追溯业务流程,收集和统计产品缺陷情况,建立产品质量档案[20](包括但不限于品种、日期、班次、流水号、缺陷代码、缺陷部位代码、缺陷图片),如图7 所示。实现产品质量问题全面追溯, 通过完善的质量数据分析报表,准确定位质量问题瓶颈和多发点。在系统基础数据中维护各类参数的基准数据和有效期,系统根据实时采集到的数据形成质量SPC 趋势曲线,并对超差质量参数进行预警,以便提高生产质量,降低不良品和废品消耗;与ERP 系统形成接口,自动上传内废、外废品种数量,供ERP 月末结算使用,避免人为录入产生的错误, 也大大降低了人工操作的强度。
图6 全面质量追溯业务流程
Fig.6 Comprehensive quality traceability business process
图7 全面质量追溯界面
Fig.7 Interface for total quality traceability
通过生产全过程质量数据的集成融合并结合MES 系统应用,可实现对缸体、缸盖类复杂铸件产品的单体追溯,提升生产效率,提高产品质量。随着企业智能制造的深入推进,基于MES 系统从采集数据的前端源头, 制定相应多源异构数据融合规则并形成标准,对于铸造行业数据赋能提质、降本、增效意义重大,而打通系统与系统之间、系统与设备之间、 设备与设备之间的壁垒以便获取生产制造过程中更充分的数据并进行有效融合,实现数据增值, 还需要在MES 系统建设初期进行统筹规划。
[1]王罡,刘敬文,李国鹏,等.基于多源异构数据融合的综合管廊电力舱系统保护[J].电力系统保护与控制,2021,49(7):103-109.WANG G,LIU J W,LI G P,et al.System protection of a pipe corridor power cabin based on multi-source heterogeneous date fusion[J].Power System Protection and Control,2021,49(7):103-109
[2]李菲.多传感器数据融合技术在温室控制系统中的应用研究[J].科技视界,2019(30):34-36.LI F.Application research of multi-sensor data fusion technology in greenhouse control system[J].Science & Technology Vision,2019(30):34-36.
[3]石晓俊, 王虎军.升船机计算机监控系统中多传感器数据融合方法研究[J].中国水运(下半月),2014,14(8):93-94.SHI X J,WANG H J.Research on multi-sensor data fusion method in ship lift computer monitoring system[J].China Water Transport,2014,14(8):93-94.
[4]钟子发, 李晶莹.多传感器数据融合处理在通信对抗系统中的应用研究[J].通信对抗,2008(3):10-16.ZHONGZ F,LI J Y.Application of multi-sensor data fusion technology to communication countermeaseures system[J].Communication Countermeasures,2008(3):10-16.
[5]王睿, 张金成.多传感器数据融合系统中的序贯航迹相关算法研究[J].现代防御技术,1996,27(6):42-45.WANG R,ZHANG J C.The research on sequential track correlation algorithms in multisensor data fusion system[J].Modern Defence Technology,1996,27(6):42-45.
[6]刘俊峰,曾君,郑家伟.AFS 系统中智能多传感器数据融合研究与应用.第29 届中国控制会议论文集[C].北京:北京航空航天大学出版社,2010.4922-4925.LIU J F,ZENG J,ZHENG J W.A new intelligent multi-sensor data fusion framework in AFS.Proceedings of the 29th Chinese Con trol Conference[C].Beijing: Beihang University Press,2010.4922-4925.
[7]柳娟.多传感器数据融合系统中的航迹关联和目标跟踪算法的研究[D].西安:西安电子科技大学,2007.LIU J.Research on track association and target tracking algorithms in multi sensor data fusion systems[D].Xi'an:Xidian University,2007.
[8]贾宗璞,赵辉,毋东.可分离公钥的多维数据融合机密性保护方案[J].计算机应用研究,2015,32(9):2808-2811.JIA Z P, ZHAZO H, WU D.Confidentiality protection scheme based on separable public key of multidimensional data fusion[J].Application Research of Computers,2015,32(9):2808-2811.
[9]王玮,刘善磊,王圣尧,等.基于同一性叠置分析的地理国情数据融合技术研究[J].测绘与空间地理信息,2019,42(3):39-42,46.WANG W,LIU S L,WANG S Y,et al.Study on the technology of data fusion in geographical conditions based on identity[J].Geomatics&Spatial Information Technology,2019,42(3): 39-42,46.
[10]王璿.数据挖掘与数据融合相结合的信息处理技术研究[D].西安: 西北工业大学,2006.WANG X.Research on information processing technology combining data mining and data fusion[D].Xi'an:Northwestern Polytechnical University,2006.
[11]闫媛媛,张博,冯志祥.多源数据融合与协同管控方法的研究与应用[J].电子技术与软件工程,2020(20):183-185.YAN Y Y, ZHANG B, FENG Z X.Research and application of multi-source data fusion and collaborative control methods[J].Electronic Technology & Software Engineering,2020(20):183-185.
[12]周强,杨庚,何利文.无线传感网数据融合完整性保护方案研究进展[J].南京邮电大学学报(自然科学版),2014,34(3):90-100.ZHOU Q,YANG G,HE L W.Research progress of date integrity for data aggregation in wireless sensor networks[J].Journal of Nanjing University of Posts and Telecommunications(Natural Science),2014,34(3):90-100.
[13]刘昊.无线传感器网络中基于相关性的数据融合技术研究[D].邯郸:河北工程大学,2013.LIU H.Correlation dased data aggregation techniques in wireless sensor networks [D].Handan: Hebei University of Engineering,2013.
[14]杨菁华, 熊智, 刘建业.基于异类传感器观测信息融合的UKF算法[J].传感器与微系统,2019,38(3):131-133.YANG J H,XIONG Z,LIU J Y.UKF algorithm based on heterogeneous sensor observation information fusion[J].Transducer and Microsystem Technologies,2019,38(3):131-133.
[15]李敬,徐海洋.基于异类传感器信息融合的平台识别算法[J].舰船电子对抗,2016,39(6):83-86.LI J, XU H Y.Platform recognition algorithm based on heterogeneous sensor information fusion[J].Shipboard Electronic Countermeasure,2016,39(6):83-86.
[16]丁玥,王涓,卢卫,等.面向多源关系数据的融合[J].中国科学(信息科学),2020,50(5):649-661.DING Y, WANG J, LU W, et al.Multi-source relational date fusion[J].Science in China(Information Sciences), 2020,50(5):649-661.
[17]殷国发,刘建新,王望荣.对数据融合技术在C3I 系统中的应用探讨[J].火力与指挥控制,2002,27(2):10-14.YIN G F,LIU J X,WANG W R.A study on appllcation of data fusion in C3I system[J].Fire Contronl&Command Control,2002,27(2):10-14.
[18]梁霄.基于数据融合的电子数据真实性鉴定技术研究[J].电子设计工程,2020,28(3):56-59,64.LIANG X.Research on authentication technology of electronic data based on data fusion[J].Electronic Design Engineering, 2020,28(3):56-59,64.
[19]潘晓君, 张佑春.属性数据融合算法在分布式入侵检测系统中的应用研究[J].通化师范学院学报,2017,38(10):78-81.PAN X J, ZHANG Y C.Research on the application of attribute data fusion algorithm in distributed intrusion detection systems[J].Journal of Tonghua Normal University,2017,38(10):78-81.
[20]杨文文,马春光,黄予洛.基于分布式认证的完整性保护数据融合方案[J].计算机应用,2014,34(3):714-719,732.YANG W W,MA C G,HUANG Y L.Integration-preservation data aggregation scheme based ondistributed authentication[J].Journal of Computer Applications,2014,34(3):714-719,732.
Application of Multi-source Heterogeneous Data Fusion Technology in Complex Castings Production Process
WANG C S,ZHONG D Y,ZHANG G C,et al.Application of multi-source heterogeneous data fusion technology in complex castings production process[J].Foundry Technology,2023,44(8):771-777.