原标题:【智库声音】国外先进战斗机生产线中的增强现实(AR)技术应用
来源: 高端装备产业研究中心
增强现实技术(Augmented Reality,简称AR)通过利用计算机图形技术以及可视化技术,可以产生现实中没有的虚拟物体,借助相关的传感信息等技术可以把虚拟的影像按照实际的需要完成在真实环境中的呈现,利用相关的显示设备将虚拟的影像与显示中的物体进行无缝连接,是促进智能制造技术的关键技术之一。近几年,国外先进军工制造集团已经将增强现实技术应用范围扩展到各种军事装备的设计研发、加工制造、维修保障等各个阶段。在先进战斗机生产领域,美国洛克希德·马丁公司为其F-35 Lightning Ⅱ试验增强现实技术之后,俄罗斯军工集团苏霍伊(Sukhoi)也开始使用增强现实技术协助该国第一架第五代战斗机Su-57的生产。
俄罗斯Su-57 Felon战斗机生产线
2020年12月,推特上出现三段视频,内容展示了俄罗斯Su-57 Felon第五代战斗机生产线上的工人使用增强现实技术协助飞机组装。从视频中无法确认该技术已投入使用还是在开发阶段,不过视频展现出Felon制造过程的大量复杂细节。
视频显示出在佩戴拥有AR功能的头戴设备进行观察时,俄罗斯联合飞机公司在俄罗斯远东地区的苏霍伊-阿穆尔河畔科姆莫尔斯克航空工厂的Su-57战斗机组装线的外观。AR技术通过叠加计算机生成的感知信息,提供了真实环境下的交互式体验,将虚拟对象和真实对象组合起来。
AR交互系统通过扫描实体的QR码牌调用对应的算法,生成虚拟部件的图像
视频中的AR交互系统似乎可以使用附加在各个主要Su-57组件上的QR码工作,然后由技术人员进行扫描。可以推测该QR码能够调用与之对应的AR算法,该算法会将数字化生成的各个子装配体和零部件的图像覆盖在现实画面中,从而向工人显示不同零件的装配位置。
例如,在上面的视频中可以看到Su-57的主起落架的AR版本,该图像覆盖在中央机身机舱的对应实际部分上,图像内容包括虚拟电缆和连接器以及各种内部铆钉和连接点,用来指示每个项目的安装位置。通过AR创建的触摸屏菜单,装配人员可以选择各种不同的选项以辅助完成复杂生产过程的不同阶段,以及安全建议和其他相关信息。
Su-57生产线中使用的AR设备为初代HoloLens眼镜,因此可以推测该技术很可能在2019年HoloLens 2发布以前就已经开始使用
在视频的一部分中,还出现了装配人员佩戴的AR设备,这种设备类似护目镜,而不是AR领域常见的真正轻便的眼镜。虽然发布视频的用户没有提及使用了哪种设备,但通过观察比对可以看出,该设备为Microsoft HoloLens初代产品。HoloLens是由IT巨头Microsoft生产的一款增强现实智能眼镜,于2015年公布初代产品,2019年则开发了HoloLens 2智能眼镜。视频中显示的虚拟部件与现实产品叠加,显示出Su-57战斗机机身的每个螺钉应该在的位置,包括内部电缆和铆钉。值得注意的是,由于视频制作方式导致虚拟图像叠加到现实环境中的准确性有所下降。这是由于摄像机之间相对于眼镜的投影显示的校准不匹配,例如显示的虚拟铆钉与其实际位置相比并未对齐,操作人员实际佩戴AR设备时并不会出现视频中的匹配偏差。
第二架预生产的Su-57在阿穆尔河畔科姆索莫尔斯克航空工厂的生产线上组装
不过根据已有情报可以推测,该视频可能只是显示了Su-57的“装配线调试”的一部分。根据2020年早些时候的报道,Su-57的生产线已进行了优化以提高效率,而视频开始的时间则恰好为2020年3月24日,这表明视频中看到的AR技术可能是在装配线重新配置期间使用的,并且不一定是Su-57批量组装过程的常规部分。但该视频依然显示出将AR技术用于先进军工产品组装过程的许多环节的潜力。例如,可能会因其更高的生产效率从而更容易发现一些潜在的材料缺陷并及时处理;AR技术使生产线更接近无纸化工作环境,从而减少了对传统指导手册和蓝图的需求;AR技术也将是培养新员工的有效工具。
苏霍伊公司在Su-57生产和开发过程中已在许多过程中使用了HoloLens
尽管目前科姆索莫尔斯克航空工厂中只有很少数量的Su-57飞机已经确认会用到该技术,不过未来俄罗斯极有可能采用相同的AR技术来帮助俄罗斯制造其他飞机(军事或民用飞机)。
F-35 Lightning II战斗机生产线
诺斯罗普·格鲁曼公司的机械师使用FILLS投影技术的工作说明进行F-35中央机身的组装
美国诺斯罗普·格鲁曼公司的F-35 Lightning Ⅱ生产线使用了与Su-57类似的非增强现实技术,即所谓的投影技术。在视频中,F-35 Lightning Ⅱ生产线FILLS项目首席工程师解释了该技术在航空航天生产中的使用,因为航空航天组装操作涉及大面积的大量操作。
诺斯罗普·格鲁曼公司是洛克希德·马丁公示领导的F-35团队的主要成员。除了生产所有三种F-35变体的中央机身外,该公司还设计和生产了飞机的雷达以及其他关键的电光和通信子系统。该公司从2015年开始正式使用一种被称为“紧固件插入实时链接系统(FILLS)”的新方法进行F-35 Lightning Ⅱ的集成装配。FILLS可自动执行机械师验证、选择和插入成千上万个紧固件的步骤,这些紧固件用于将复合蒙皮固定到F-35飞机外形框架。其3D光学投影技术和对紧固件孔测量数据的无线处理从根本上改变了机械师组装复杂的高精度飞机结构的方式。
FILLS通过不同的灯光颜色展示出测量结果
FILLS通过一系列投影仪向机械师指示出螺钉和其他配件的安装位置。该技术还能展现出正确的安装顺序,甚至通过将光的颜色从橙色更改为红色来指出由于材料厚度而引起的问题,这表明测量存在问题。这简化了F-35中央机身的生产过程,使机械师可以更有效地工作,并具有更高的精度。
在视频中的安装案例中,FILLS系统地指导机械师完成测量面板中每个紧固件孔深度的过程。该数据从测量设备无线传输到网络数据库,用于为每个面板创建定制的紧固件套件。当准备好将蒙皮安装在飞机机架上时,FILLS会依次在每个蒙皮上突出要安装在该面板上的每种紧固件类型的零件编号和位置。在这些“投影式”作业指导下,机械师安装了所有类型A的紧固件,然后安装了类型B的紧固件。
FILLS的显著优势之一是简化了机械师精通安装紧固件的必要培训,此外该技术还消除了紧固件错误安装所带来的相关维修费用。
对比分析
无论是使用头戴设备还是使用投影仪,俄罗斯和美国的方法都有助于确保所制造的飞机达到最高标准。错误地敲打了一个螺丝孔,或者在错误的孔中安装了螺丝或其他配件,或者稍微偏心,都有可能使螺钉离开飞机表面。这对于更传统的飞机来说可能不会产生很大的影响,但是对于先进的隐身式战斗机来说,这都会使得隐身效果不理想,从而降低其隐身性能。
头戴式(左)与投影式(右)增强现实技术的对比
从F-35和Su-57所使用的技术对比来看,F-35所用的投影技术因为是使用了固定的投影设备,因此具有更高的测量精度,而且功能更为全面、细化,不过其完整的投影设备部署成本也更高。Su-57所使用的则是微软公司的工业级AR设备,其功能受到设备的限制,因为初代HoloLens不支持复杂手势,但是其操作难度相比F-35的设备难度更低,并且头戴式的设备也更为方便,可以简化工厂硬件设备。不过从视频来看Su-57使用的AR技术其弊端也十分明显,首先相比F-35的固定式投影设备,Su-57的头戴式设备,其定位精度无法得到保障,视频中所演示的方法为工作人员手持二维码将虚拟模型定位到机身上,这对于军用飞机所要求的精度来说很难得到满足,所以几乎可以肯定现阶段其功能只有辅助定位及装配工序提示等功能,尚不具备F-35生产线中直接对固定件装配结果的实时测量以及反馈等功能。
头戴式AR技术原理图
虽然现阶段俄罗斯Su-57使用的AR技术相比美国的FILLS系统尚有不足,但是未来随着AR技术的不断进步,相信未来其精度一定可以满足军工级产品的需求,届时其功能将不止是现在的辅助定位工具,而是成为功能更为强大的生产工具。
总结
AR技术在近几年发展迅速,出现在很多工业产品的生产过程中,实际上该技术很早就已经出现在了国外军工产品的全生命周期中。
雷神公司的RM2平板式AR设备
NASA在2016年就开始利用微软HoloLens眼镜开展“火星虚拟漫步”等活动,探索其在“火星2020”巡视探测器设计中的应用潜力。洛克希德·马丁公司也使用爱普生Movierio BT-200型眼镜以及微软HoloLens智能眼镜用于其F-35和“猎户座”飞船的装配过程中。2017年空客公司采用Accenture公司研发的智能眼镜将AR技术应用与毫米级精度的客舱安装标记工序。波音公司在787-8货机电缆组装过程中采用了谷歌智能眼镜以及Upskill公司的Skylight可穿戴技术。空客开发的“月亮”(以装配为导向授权增强现实)系统用于A400M的机身布线,使用来自工业数字样机(iDMU)的3D信息生成装配指令,以智能平板为界面指导工人进行布线操作。在装备维护领域,AR技术的应用案例更多,洛克希德·马丁公司、赛峰集团飞机起落架系统公司、美国联合飞机技术公司、空客公司、雷神公司等都已经将各种AR技术应用在其产品的维护检查以及故障维修工作中。
从AR技术的应用趋势可以看出,该技术在军工产品的制造领域应用越来越深入,这也反映出军工产品制造的无纸化、数字化发展方向。诸如AR技术等能够推动工业制造低成本、高效率运转的新技术,未来一定会在先进军用武器装备的制造领域发挥出更大的价值。