机器视觉系统发展趋势：深度学习、快速开发环境和工厂集成

点击下方卡片，关注“新机器视觉”公众号

重磅干货，第一时间送达

近年来，以深度学习为形式的人工智能仍然是机器视觉领域最重要的发展之一。通过使用人工神经网络模拟人脑进行识别和决策的方式，深度学习可以解决传统基于规则的机器视觉算法难以或不可能处理的问题，从而增强制造环境中的质量检查。深度学习尤其擅长于对象分类、缺陷检测和分割，并已被应用于许多行业，包括汽车、航空航天、物流、制药、半导体和交通。它在食品和农业方面也特别有效，因为有机产品有许多自然变化，在评估潜在缺陷和分类问题时必须加以考虑。深度学习现在比以往任何时候都更加用户友好和实用，与其他视觉技术一起开辟了新的应用领域，使视觉检测作为工业4.0的一部分变得更加有益。

图1 点击牙刷标签进行分类。

来源：MVTec软件公司

深度学习能力

深度学习系统的实现包括训练一个神经网络，该网络带有一组标记的图像，以指示不同的对象或缺陷，从而允许系统学习识别它们。图1显示了一系列为培训贴上标签的牙刷图像。然后使用实际系统输出的图像进行评估。这些结果可以连接到质量控制的过程控制系统中，并提供有价值的统计数据，以帮助评估任何问题的原因，从而简化过程并减少浪费。对项目所属类别进行分类是深度学习提供的一项重要能力。有些分类器只给出是/否的决定，而另一些分类器可以提供许多分类。应用包括缺陷识别、字符识别、存在检测、食品分类等。

图2显示了使用分类器检测金属螺钉中的缺陷。异常检测是深度学习功能的最新补充，充当“是/否”分类器。它有一个特别的好处，即只需要“好”图像进行训练，然后如果它检测到检查图像中的任何差异，这些图像将被标记为“坏”样本。异常检测可用于任何涉及表面或场景缺陷识别的应用。为了定位图像中一个或多个感兴趣的对象，可以使用对象检测方法，将定位和分类结合到一个操作中。该技术可以解决存在检测、目标跟踪、缺陷定位和分类等问题。深度学习的另一个至关重要的组成部分是图像分割，用于缺陷分类/鉴定、食品分类、形状分析、，该过程通过将输入图像划分为代表对象或对象部分的分割像素组，而无需考虑单个像素，从而简化了分析。深度学习在现实世界中的应用包括检测复杂的表面和外观缺陷，例如反射或旋转表面上的划痕和凹痕。缺陷也可以在编织材料、药丸或半导体接触表面上检测到。深度学习也可用于要求严格的OCR应用（即使在打印变形的情况下），包括车辆牌照读取。它还特别适用于识别和分类水果、蔬菜和植物的特征和修剪位置，无论是用于加工还是自动收获。在物流中，它可以用来识别空仓库货架。

图2 好的和有缺陷的金属螺丝。缺陷显示为深度学习分类算法的热图输出。

来源：Teledyne DALSA

简化深度学习的实施

深度学习工具现在可以在一体化快速开发的图像采集处理和分析软件平台中使用。这种式方法节省了构建深度学习解决方案的时间和复杂性，当这些工具只能从图像库中访问时，不再需要具备所需的专业编程技能。通过引入预先训练的神经网络，可以进一步增强快速部署，显著减少训练时间，它们可以使用比其他情况下所需的小得多的训练图像集针对特定应用进行微调。如上所述，异常检测的可用性也加快了深度学习系统的发展，因为新的网络通常可以在几秒钟内进行训练，因为只需要相对少量的“良好”图像，并且这些图像中的数据不需要标记。最终测试只需要一些“坏”图像。这种方法在有许多变化的应用中非常有用，可以区分自然变化和天然产品中的真正缺陷。通过使用该方法获得的“通过/失败”结果不仅提供了良好的质量控制，而且可以积累失败的数据，以建立更具体的分类器，进一步加强选择过程，减少错误拒绝。

图3 猪肉里脊在高速输送机上的3D分类。

来源：LMI Technologies Inc.

深度学习与三维视觉

3D成像是机器视觉应用的另一个主要增长领域，尤其是在视觉引导机器人中，它是机器人和3D摄像机之间的直接接口，现在可以在不需要PC的情况下匹配坐标系。将多个3D摄像机联网到一个公共坐标系，并将单个传感器的结果合并到一个高密度3D点云中，现在可以对更大的物体进行3D检查。甚至可以在组合坐标系中连接具有不同分辨率的三维激光测线仪，以便以不同分辨率同时检查同一部件的不同区域。深度学习方法现在也在3D成像应用中使用，其方法与2D成像类似。经过验证的标准神经网络使用3D图像集进行训练，用于对象分类或缺陷检测和分割，包括用于实时图像的异常检测。图3显示了在高速输送机上移动的猪腰肉的3D分类。在获取猪腰肉的3D轮廓后，AI模型根据高度、最小面积、样本之间的间隙和最大长度，将其内联分类为左侧或右侧切口，并将结果排序决策发送给下游机器。深度学习技术也开始应用于机器人视觉应用。例如，神经网络可以用于场景中的3D数据，以评估零件及其表面，从而选择要拾取的最佳零件。

边缘计算的深度学习

深度学习是计算密集型的，神经网络可以在云中运行，也可以在网络边缘的CPU或GPU上运行（尽可能靠近成像源）。虽然网络可以在边缘或云端进行设置、训练和优化，但在实时图像上的使用很可能是时间关键的，因此最好在边缘执行。这种方法不仅减少了所需的响应时间和带宽，而且易于扩展，减少了需要快速响应的应用程序的延迟，并通过最小化数据传输增强了安全性。紧凑、坚固的工业级设计CPU/GPU组合，具有强大的计算能力，现在可以在边缘实现高速GPU加速的人工智能计算。如果需要，数据可以传输到远程数据中心或云，用于改进深度学习模型，或用于跨多个网络的长期存储或分发。

图4 OPC机器视觉的逐步引入。

来源：VDMA

增强工业4.0的连通性

虽然许多vision系统已直接连接到工厂自动化总线，如以太网IP、Profibus和Modbus，但转向工业4.0需要更好的连接，以实现工厂结构内所有组件之间的数据传输和共享。OPC UA平台独立、开放的机对机通信标准通过提供通用通信协议解决了这些问题。最近，德国机械工程行业协会（VDMA）开发了OPC UA Companion Specification Vision（OPC机器视觉），该技术通过商用机器视觉软件和完整的现成机器视觉系统变得可用。这为从简单视觉传感器到复杂检测系统的所有视觉系统提供了通用信息模型。OPC机器视觉不仅通过OPC UA标准补充或替换视觉系统与其更广泛的过程环境之间的现有接口，而且能够创建新的水平和垂直集成路径，以便与过程的其他部分进行相关数据通信，直至IT企业级。通过这种方式，OPC机器视觉允许视觉系统与工厂和其他地方进行对话，能够从ERP系统加载视觉系统的作业，并将批处理结果和统计数据返回给ERP系统。图4显示了OPC机器视觉如何分阶段使用，蓝线显示传统通信路径，橙色线显示使用OPC-UA的通信。

回归基本

虽然深度学习极大地扩展了机器视觉的范围和能力，但不能忘记，对于所有成像应用，成像系统本身必须正确配置和设置，以正确的速度生成所需质量的图像。随着深度学习为视觉系统开发人员提供了更多的选择，与视觉技术专家供应商合作非常重要，他们可以从一开始就视觉系统的各个方面提供建议，确保正确指定系统。(来源：Quality magazine)

本文仅做学术分享，如有侵权，请联系删文。

关键词： 机器视觉 视觉系统 神经网络