5G+AI 智能工业视觉解决方案白皮书V1.0 发布日期 2020-06-20 联合编著 华为技术有限公司 北京百度网讯科技有限公司5G+AI5G+AI 智能工业视觉解决方案白皮书 V1.0 1 工业视觉发展趋势 01 1.1 工业视觉概述 01 1.2 工业视觉的发展趋势及挑战 03 1.3 基于5G+AI的工业视觉解决方案的价值 04 2 工业视觉发展趋势 06 2.1 助力企业质量提升 06 2.1.1 场景1 ：产品在线外观质量检测 06 2.1.2 场景2 ：产品组装后的防错检查 07 2.1.3 场景3 ：品牌商多工厂统一质检标准 08 2.2 助力企业效率提升 08 2.2.1 场景1 ：生产过程物品智能分拣 08 2.2.2 场景2 ：生产过程瓶颈节拍分析 09 2.3 助力企业安全管理 10 2.3.1 场景1 ：生产现场生产安全巡检 10 2.3.2 场景2 ：环境监控仪表数据读取 11 3 5G+AI工业视觉解决方案 12 3.1 工业视觉四类典型应用方案 12 3.2 5G+AI工业视觉解决方案架构 15 3.2.1 逻辑架构：系统间业务数据流 15 3.2.2 物理架构：现场硬件部署位置 16 3.3 管：图像传输高经济性方案 18 3.4 云：边缘云端应用解决方案 21 3.5 端：现场设备5G连接方案 22 3.6 工厂园区5G网络建网方案 23 3.6.1 3C行业网络能力需求分析 23 3.6.2 工厂园区5G网络方案介绍 26 3.7 5G+AI工业视觉应用SLA保障 28 4 5G+AI工业视觉未来展望 30 5 参考资料清单 31 附录：术语表 325G+AI 智能工业视觉解决方案白皮书V1.0 01 工业视觉发展趋势 1.1 工业视觉概述 机器视觉系统是指通过机器视觉产品将被摄取目标根据像素分布和亮度、颜色等信息，转变成数字化信号，传送给 专用的图像处理系统，图像处理系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设 备动作。 机器视觉在工业生产中应用广泛， 常用于遍布整个生产环节的四类业务应用 ： 视觉引导与定位、 模式有无识别检测、 精准测量测距、产品外观检测等。概括的说，工业机器视觉系统的特点是提高生产的柔性和自动化程度，主要在一些不 适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生 产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程 度。而且机器视觉易于实现自动化集成，软件集成，是实现智能制造的基础技术。 在不同的应用场景中，机器视觉系统所采用的图像采集设备、处理方式、架构组成有所不同，主要包括以下三种系 统架构： 一体化智能工业相机机器视觉系统 智能工业相机是近年来机器视觉领域发展较快的一项新技术。智能相机是一个兼具图像采集、图像处理和信息传递 功能的小型机器视觉检测系统，是一种嵌入式计算机视觉检测系统。它将图像传感器、处理模块、通讯模块和其他外设 集成到一个单一的相机内，由于这种一体化的设计，可降低系统的复杂度，并提高可靠性，同时系统尺寸大大缩小，拓 宽了机器视觉的应用领域。智能工业相机一般直接输出图像处理数据用于设备控制、结果显示等，应用于某些特定的如 二维码 / 条码识别、温度红外识别、视觉引导定位等场景。 1 基于智能工业相机的系统架构5G+AI 智能工业视觉解决方案白皮书V1.0 02 基于工业相机和本地算力的机器视觉系统 基于工控机机的机器视觉系统是目前主流的应用方案。分离式的图片采集系统与基于工控机的处理系统架构使得该 方案能广泛适用于各类工业视觉应用场景。 典型的基于工控机的工业视觉系统分为图像采集部分、图像处理部分和运动控制部分，具体由如上图所示的几部分 组成： 工业相机与镜头：成像器件，通常的视觉系统都是由一套或者多套这样的成像系统组成，如果有多路相机，可能由 系统控制切换来获取图像数据， 也可能由同步控制同时获取多相机通道的数据。 工业相机按照芯片类型、 扫描方式、 分辨率大小、输出信号方式、输出色彩、输出信号速度、响应频率范围等有着不同的分类方法，种类繁多，需要根 据应用需求进行选择； 光源：光源是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果； 控制单元：控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等，用以判断被测对象的位置和状态， 告知图像传感器进行正确的采集或根据图像处理结果完成对生产过程的控制； 图像处理算力设备：工控机或 GPU 服务器，是视觉系统的核心算力，部署于靠近相机的端侧，完成图像数据的处 理和绝大部分的控制逻辑，对于检测识别类型或采用深度学习算法的应用，通常都需要高性能的 CPU/GPU，减少 处理的时间。工控机内的机器视觉软件用来完成输入的图像数据的处理，通过图像识别得出结果，这个输出的结果 可能是 PASS/FAIL 信号、坐标位置、字符串等。常见的传统机器视觉软件以 Halcon、康耐视 VisionPro 等视觉处理 软件为平台，实现专用（比如仅仅用于 LCD 检测，BGA 检测，模版对准等）或通用目的（包括定位、测量、条码 / 字符识别、斑点检测等）的视觉检测功能。从 2017 年起基于人工智能的机器视觉软件以百度工业视觉智能平台、 康耐视 VIDI 等为代表，提供了复杂纹理或物体表面的缺陷检测功能。 基于 IPC 摄像机和云端算力的工业监控系统 IPC（IP Camera）摄像机是由视频编码模块和模拟摄像机组合而成的一类摄像机。视频编码模块将模拟摄像机采集 到的模拟视频信号编码压缩成数字信号，从而可以直接接入网络交换及路由设备，与云端识别 API 打 通。IPC 摄像机能 更简单的实现监控特别是远程监控、 更简单的施工和维护、 更好的支持音频、 更好的支持报警联动和更灵活的录像存储。 IPC 摄像机在工业应用场景包括安全巡检、装配动作合规、仓库物料盘点计数等场景。 基于工控机的典型机器视觉系统组成5G+AI 智能工业视觉解决方案白皮书V1.0 03 1.2 工业视觉的发展趋势及挑战 随着人工智能、 计算机视觉等技术的不断成熟， 以及德国 “工业 4.0” 、 日本机器人新战略、 美国先进制造伙伴计划、 中国制造 2025 等政策的不断驱动， 促使工业机器人市场持续增长， 也大大促进了机器视觉产业发展。 有公开数据显示， 在 2018 年，全球用于工业自动化领域的机器视觉技术市场规模达 44.4 亿美元，预计 2023 年将达 122.9 亿美元，年复 合增长率高达 21%，市场需求巨大。 随着工业机器视觉应用越来越广泛，被检测对象越来越复杂，机器视觉应用从传统工业视觉向基于深度学习的 AI 工业视觉过渡 传统工业视觉系统的应用实现，是在经过给定背景、光源、采集光学器材参数的特定环境下，实现对目标感知区域 拍摄的数字图像进行指定要求的处理，并提取特定的信息数据，并输出给指定设备作为动作依据，所依赖的是预先明确 的固定特征，由视觉工程师基于视觉任务的特定需求，进行目标特征的定义以及数值判断的阀值定义的实现，这种逻辑 简单的局限性，无法适用于随机性强、特征复杂的工作任务，如随机出现的复杂外观缺陷检测。因此，目前业界越来越 多的使用到能解决此类复杂特征问题的深度学习。 深度学习方法 (Deep Learning) 作为传统神经网络的拓展 ，近年来在语音 、图像 、自然语言等的语义认知问题上 取得巨大的进展，为解决视觉大数据的表示和理解问题提供了通用的框架。图像视频内容复杂，包含场景多样、物体种 类繁多，非受控条件下，图像和视频的内容受光照、姿态、遮挡等影响变化大，图像视频数据量大，特征维度高，部分 应用需实时处理 ，而深度学习方法的快速发展 ，为解决上述问题提供了有效的途径 。深度学习算法在目前的行业普遍 技术水平已经能够达到 95% 以上的判定准确率。通过平衡漏判率和误判率，更加严格地控制漏判，可以让漏判率降到 100PPM 以下，而误判率降到 5% 以下。 虽然基于深度学习的 AI 工业视觉可以解决更复杂的问题， 应用越来越广泛， 但仍存在如下瓶颈， 制约更高速的发展 ： 端侧算力成本越来越高 随着工业相机像素越来越高，深度学习在工业视觉检测中的应用及提升生产效率生产节拍的要求，对算力硬件性能 要求越来越高，高性能 CPU/GPU 的应用也越来越广泛，这直接导致算力成本价格直线上升。同时，一套视觉系统往往 独立部署一台算力设备，所有算力无法共享复用，利用率往往无法达到最高。 单点系统维护成本过高 固定工位单机的部署方式，使得每次对设备进行调试、软件更新维护、监控分析都需要在本地完成，在机器视觉被 工厂大规模使用的情况下，这种维护方式成本极其高昂； 数据孤岛，数据不能有效共享 在典型工业视觉系统解决方案中，图像的处理在本地完成终结，生产中有效数据不能及时在各个系统间共享，使得 全部系统功能更新缓慢，进而影响整个生产进度； 不能很好的适应具有移动性诉求的应用场景 部分工业应用场景具有移动性诉求，如安装于机械臂的视觉定位相机，因为机械臂的移动而线缆损耗严重5G+AI 智能工业视觉解决方案白皮书V1.0 04 工厂车间有线互联网建设成本过高、容量不足 典型的工厂车间环网速率容量为 1Gbps，该容量为车间环网各类应用公用，如在环网上增加一个端口，则平均成本 为超千元；该容量不足以承载典型工业相机数应用的上行大数量需求，且整体有线扩容成本非常高。 通用性、智能性和同类应用快速复制性欠佳 机器视觉在通用性方面存在不足，在一些集成应用中无法搭载，一台设备可能只适用于一家厂商或一种行业，导致 开发成本过高。而在智能性方面，当库存量单位较高时，或者移动速度较快时，工业视觉在识别准确率上就难以达到要 求。 例如在分拣领域， 工业视觉已经能够很好地适应小规模和品类较少的固定分拣， 但对于复杂堆叠物体的识别和分拣， 依然有 90% 以上通过人工方式完成； 实际应用中视觉检测准确率较低，不可自学习，动态优化 尽管从一些算法的测试结果来看，工业视觉的图像识别准确率已经能够达到极高的水平，但要实现工业上的应用， 还需要保证能够快速完成批量化检测，同时能够适应多样的环境（包括物体表面材质、工厂环境、工作距离等等）。只 有在实际应用中能够达到极小的误检率，工业视觉才能实现其应用预期，从而满足客户的标准而得以推广； 基于以上机器视觉应用痛点，我们希望能够通过 5G+AI 的创新方案来努力解决，使得工业视觉能被普适性的推广 应用，推动智能工业制造的发展。 1.3 基于 5G+AI 的工业视觉解决方案的价值 随着我国 5G 商用大幕正式拉开，5G 做为 “新基建” 之首， 成为新一代智能制造系统的关键使能技术。 在工业领域， 5G 以其特有的大带宽、低时延，以及高可靠等特性，使得无线技术应用于现场设备实时控制、远程维护及操控、工业 高清图像处理等工业应用新领域成为可能，同时也为未来柔性产线、柔性车间奠定了基础；同时，5G 与 AI 的结合，更 是会带来整个社会生产方式的改变和生产力的提升。 5G+AI 的智能工业视觉解决方案框架5G+AI 智能工业视觉解决方案白皮书V1.0 05 5G+AI 的工业视觉解决方案， 通过端 + 5G 网络 + 边缘云 + 云服务的协作， 将成为未来智能化工厂标配解决方案， 让工厂质量检查和缺陷识别、设备增加眼睛提升灵活性和零部件高效测量变得简单和高效。 实现数据互联互通、动态闭环 通过 5G 网络连接，产线上每个工业视觉应用不再是独立的数据孤岛，带来的价值包括但不局限于以下方面：a ） 工厂中央生产控制系统可以实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统；b ）云端训练平台能实 时获取多个现场端的样本图像， 快速更新及实时部署优化后模型 ；c ） 实现新检测应用的快速部署及推广， 使能柔性生产 ； d ）实现现场设备的云端统一维护监控等； 提升设备标准化、智能化水平 随着被检测对象复杂性的增加，越来越多的视觉检测要依赖于深度学习算法，而深度学习需要大量的样本及强大的 GPU 能力不断迭代训练以提升检测成功率；现有深度学习更多的是依靠在现场人工样本的采集及模型的更新，推理训练 一体化的设备又大多局限于成本及特定的应用场景，极大的限制了深度学习的应用。5G+AI 的解决方案通过多点样本的 实时获取，在云端统一架构平台上实现推理训练，支持快速的新模型迭代更新，能使得深度学习在工业视觉应用中被广 泛推广，普遍提升视觉检测成功率； 简单、易部署，支持规模应用 在工业中实现一个匹配用户需求的视觉检测系统，需要具备光学、网络及图像算法的专业技能，对用户是个不小的 挑战。 5G+AI 的解决方案中将复杂的样本标注、 图像处理等统一在云端平台实现， 并通过 AI 算法实现智能标注、 智能闭环， 降低系统应用的复杂性，使得工业视觉检测能被应用到更多的生产环节中。 提升生产效率，减少维护成本 5G+AI 的解决方案能极大的提升生产效率，一方面部分工业应用场景具有移动性诉求：如安装于机械臂的视觉定位 相机，因为机械臂的频繁移动而使线缆缠绕损耗严重，需要经常更换，另外如后装视觉应用、不固定部署场景，无线传 输的方式都可以很好的解决；另一方面，工程技术人员可以在云端进行操作维护，无需到到现场即可进行软件更新、设 备调测、功能扩展等操作，能大幅降低系统维护成本，提升效率。 降低视觉规模部署低成本 根据公开资料，工业是目前机器视觉应用比重最大的领域，其中又以 3C 电子制造和汽车制造为主，但也仅占到整 个生产环节的 1020%，传统工业行业占比更低；导致该结果的主要原因一方面是因为不同行业被检测对象差别极大而 技术实现困难，另一方面是因为端侧一体化的视觉检测系统成本过高限制了应用。5G+AI 的工业视觉解决方案中，可以 将需要强大软硬件算力支持的计算统一在云端平台实现，并同时支持多类不同应用场景，端侧仅部署标准的图像采集系 统，进而降低全系统部署成本；同时，远端维护的方式也可以极大的降低系统的操作维护成本5G+AI 智能工业视觉解决方案白皮书V1.0 06 本章节将重点从工业视觉助力企业实现全面质量管理（TQM ）和数字运营管理两个维度，分享 5G+AI 云化工业视 觉应用案例。 2.1 助力企业质量提升 工厂质量控制体系就是为满足产品的质量要求，而实时进行的质量测量和监督检查系统。特别是在汽车零部件、3C 产品零部件与外壳、芯片、纺织品、光伏等行业，外观质量检测是非常重要的一个环节，极大影响着产出产品的质量和 产品产出速度，受限于大量的质检人员个体差异和生理限制，测量工具不能将结果及时数字化和智能化等，经常导致了 生产质量事故频发，管理人员难以准确的判断质量管控运行状态。5G+AI 工业视觉充分发挥先进技术有优势，被引入到 零部件出厂检、 入场检、 安装检、 在线检、 抽检和出厂检等各个环节， 解决传统管理上的难点和痛点， 助力企业质量提升。 2.1.1 场景 1 ：产品在线外观质量检测 以某 3C 产品供应链企业产品外观检测为例，每月人工视觉检 测人力成本超过 200 万 ，质检人力员工占比占到 20%40%，且 还存在漏检等质量问题。 目前人工质检面临质量、 成本、 特殊场景应对、 信息集成的问题， 具体如下： 质量 ：人工质检的主观因素对判定结果的影响较大 ，基于视 觉疲劳，会存在漏检问题； 成本 ：人员流动较高 ，由此带来的培训和用工成本高 ，用工 难招工难； 信息集成 ： 没有对生产数据进行有效积累和利用 , 无法后续推进流程再造和质量分析， 对自动化生产流程适配较弱 ； 效率：传统机器视觉通过程序化计算逻辑进行视觉检测 对此类复杂表面检测抗干扰能力差，误检过高，人员复判 工作量大。 5G+AI 的外观质量检查方案，依托 AI 深度视觉检测技术和 5G 通信技术进行融合，可在复杂纹理图像分类和背景干 扰的情况下大幅度减少漏检误检， 缺陷阀精确可控， 同步实现检测结果数据实时同步， 实现数据模型高效快速迭代闭环， 不断提升现场模型准确率。 工业视觉发展趋势 2 某 3C 产品供应链企业生产现状5G+AI 智能工业视觉解决方案白皮书V1.0 07 2.1.2 场景 2 ：产品组装后的防错检查 某汽车主机厂总装车间，汽车生产的最后一道工序，还是需要依靠大量的人力对车身进行装配，针对车灯检测的场 景，由于混线生产检测，检测人员完全依赖经验对车型的车型进行检测，此外由于总装线上的灯光干扰严重，检测人员 也需要避免外界光源对车灯检测的干扰，并且检测节拍较短，对于检测人员的检测速度上也是有很高的要求。现有检查 方案如下图所示 ; 现有方案：通过镜子目视检查 目前传统人工质检面临质量、特殊场景应对和信息集成的问题： 质量：人工质检中需要有经验的质检人员基于 20+ 种类型的车清楚知道什么零部件配什么车型，对人的经验要求 高， 新员工不熟悉车型会存在漏检问题 ； 长时间在强光源场景下， 需要做相关的人因防护， 避免眼睛长时间接触光源。 信息集成：目前无法做到无法做到车型和车灯物料匹配，物料偏差后不可追溯。 5G+AI 的质量检查方案，依托 AI 深度视觉检测技术和 5G 通信技术进行融合，基于 MES 系统型号 BOM 数据自动 识别不同车型同一款车型支持不同配置，8s 内自动完成检测，检测准确率 99%+，同时存储相应的过程数据可以基于车 型号可追溯。 5G+AI 方案：视觉图像检查示例图5G+AI 智能工业视觉解决方案白皮书V1.0 08 2.1.3 场景 3 ：品牌商多工厂统一质检标准 在 3C 行业、汽车行业，上游零部件加工厂家和 OEM 主机厂零部件测量标准的一致性，OEM 厂家接收零部件后如 何快速、高效地按照标准抽检零部件质量，并实时将检测结果数字化被各业务系统调用并做到可追溯，是当前行业面临 的普遍痛点。基于 OEM 主机厂构建的 AI 质检平台和移动的标准检测 AI-Box，通过 5G 低时延、大带宽连接，将很好地 解决当前中小型零部件来料质量控制面临的问题。 如某汽车齿毂关键尺寸测量和检查设备，OEM 主机厂统一构建 AI 质检平台，并和零部件厂家共同定义质量标准， 采用深度学习和传统算法相结合，使用结合 5G 终端的 AI-Box 视觉检测设备，AI-Box 的检测后通过 5G 网络向 AI 平台 和相关业务系统反馈检测结果，共享检测数据，实现高效率，高准确性，并不断完善现有 AI 质检模型，保证主机厂和 上游零部件厂家检测标准的一致性 。AI-Box 设备支持光源、相机、镜头的自定义配置，采集数据的无缝对接工业视觉 AI 训练平台， 并在工业视觉 AI 训练云平台实现数据标注和模型训练的完整闭环， 同时支持模型下发本地的验证性测试。 2.2 助力企业效率提升 生产效率即在单位时间内生产更多的高质量产品是企业核心竞争力之一，随着消费者对产品多样的化的需求，企业 面临规模化的按需生产挑战， 行业在积极探索一条生产线生产更多的产品， 同时利用自动和智能化生产减少生产线工人， 提升线体柔性。5G+AI 工业视觉充分发挥先进技术有优势，即满足多品种、小批量规模化生产，又减少生产人员提升企 业生产效率。 2.2.1 场景 1 ：生产过程物品智能分拣 在工业制造 、物流产业等多个行业中 ，有很多对产 品或物体进行识别检测 、分类放置的需求 ；传统的基于 人工视觉的检测方式 ，容易产生疲劳 ，无法一直保证很 高的检测效率， 且由于人眼本身的生理极限， 很难在速度、 精度等方面达到较高的标准 。因此 ，传统的人工检测方 式制约了生产力水平的发展和提高 ，已经难以满足生产 AI-Box 应用场景5G+AI 智能工业视觉解决方案白皮书V1.0 09 生活的需要，越来越多的基于机器视觉的分拣机器人被广泛地应用到各种各样的工业化流水线上。即通过工业相机获取 目标图像信息，完成对抓取目标的分拣工作。 传统的工业机器人视觉分拣系统中利用经典的计算机视觉理论，如不变距、模板匹配、 SURF 特征等算法识别和定 位工件， 对现场环境和工件形状、 背景颜色有较高要求。 现场传送带上的工件、 物体， 可能形状复杂且呈现不同的姿态， 而且密集摆放在一起，此种情况下经典的视觉识别与定位算法难以满足高识别率、高精度等要求，分拣机器人将无法胜 任分拣任务。 基于 5G+AI 的机器视觉分拣系统解决方案中，集成 5G 终端的工业相机，解决了频繁更换网线的痛点，允许更灵活 的部署方式，同时依托 5G 网络大带宽、高可靠的特性，将图像回传到云端利用深度学习 AI 检测图像方案，提升识别的 准确率和定位精度，使得能够适应更加复杂的分拣环境，更好的完成分拣任务。 2.2.2 场景 2 ：生产过程瓶颈节拍分析 在工厂产线有人参与的产品装配作业中，一般的动作通常包含固定的操作流程如：伸手、握取、移物、装配；操作 人员在长时间工作或被干扰后，装配动作会出现遗漏、误操作等问题，同时也需要需要通过动作分析来找到动作存在的 问题，以改善动作的顺序和方法。基于此需求，随着图像获取与图像处理方法的发展，基于机器视觉的动作识别已经在 视频监控、行为识别等领域获得广泛应用：即基于 IPC 工业摄像机，通过视频行为识别检测方法，自动识别人工装配过 程中的工序是否正确，对错误操作实时进行报警提示，防止不合规操作发生以及发现并优化装配动作。其中基于视频的 行为识别是指从视频序列中提取描述动作行为模式的显著视觉特征，然后通过机器学习与模式识别等算法进行分类和理 解，来实现视频目标的行为模式的识别。 某部件人工装配动作视觉 AI 分析实时节拍 基于 5G+AI 的视频人工装配动作检测解决方案，通过 5G 网络回传视频到有强大计算能力的云平台，通过深度学习 方法解决装配动作复杂多变，检测成功率不高的痛点，同时基于 5G 无线网络的灵活部署方案，使得该解决方案能被推 广到更多行业应用中。 动作 动作说明 AI 动作识别时长 伸手 将手移向目的地 0.43s 抓取 用手指可靠地控制目标物 0.38s 移动 移动目标物 0.56s 定位 对正待装配目标位置 1.12s 装配 进行装配动作操作 6.13s5G+AI 智能工业视觉解决方案白皮书V1.0 10 2.3 助力企业安全管理 2.3.1 场景 1 ：生产现场生产安全巡检 安全巡检包含厂区管理、安全生产、环境监控三个方面内容，以及在这些场景中对于人、车、设备等安全状态的检 查，排查异常情况，及时解决问题和安全隐患。 传统安全巡检主要依靠人工，无论在巡检确定性、效率和及时性方面，都存在较为严重的问题： 人工员管理问题：巡检人员未按规定巡检，隐患未能及时上报，遗漏巡检点，纸质记录巡检情况；巡检效率问 题：受限检测点位、安全性服装等场景限制，导致人员巡检时需要更换工具及辅助设备，效率低；及时性低：受限于 安全人员数量以及厂区面积，无法做到安全隐患没有被及时发现，一旦发生问题如火灾等极端情况。 部分巡检开始使用固定和移动摄像头代替人工进行远程巡检，但整体智能化程度低，于监管安全产的摄像头和 传感设备智能化程度较低，未能全覆盖产的主要险点，能够采集到的产数据有限，数据分析、监测预警等智能 化应尚未开展，不能很好地满企业安全产监管的需求。 5G+AI 视觉识别的智能安全巡检方式，通过现场高清设备进行采集，借助 5G 网络进行图像数据回传，通过深度学 习训练 AI 模型，实时监控现场安全状态，从而实现对于现场的自动化安全巡检。针对人员管理、车辆管理、安全着装 规范识别、生产机械安全监控、危险行为监测和环境监控 6 个大的场景，该方案都可以达到较高的准确率，消除人工巡 检存在的隐患5G+AI 智能工业视觉解决方案白皮书V1.0 11 2.3.2 场景 2 ：环境监控仪表数据读取 在制造生产等企业中，各位安全监控仪表数据采集和监控是数字化管理的基础，物联网系统的构建可以将设备数据 进行实时采集，大大提升整体管理效率，对于异常情况进行及时报警。 在构建物联网进行数据采集的过程中，往往会遇到以下的 3 大类问题，使得物联网监控系统构建受到很大阻碍： 设备支持：一些传统指针仪表，并不支持数字化的采集方式，无法将模拟信号转化成数字信号，仅仅能通过仪表 盘进行数据读取， 无法进行物联网协议对接 ； 协议开放 ： 设备仪表厂家众多、 协议众多， 很多厂家协议并不对外开放， 往往数据对接要和仪表厂商进行进一步沟通，很难得到有效支持，阻碍了仪表设备数据对接；施工周期和成本：由于 受到设备协议、 场地接线等影响， 建设完备的物联网体系周期往往较长， 如为了搭建物联网系统进行设备更换， 成本较高。 5G+AI 工业视觉解决方案，通过摄像设备这类非侵入，易安装的方式实现对于各种类型仪表的图像采集，训练深度 学习 AI 模型，实现对于仪表的自动化数字识别和传输，在物联网对接条件受到限制情况下，可绕开各类复杂协议，网 络对接的问题，直接从图像数据中采集仪表数字。如下图所示 无论对于指针类型仪表、数字类型仪表，还是状态灯开关指示，都可以实现仪表数据的实时采集和传输识别，起到 物联监控的效果。 5G+AI 工业视觉：物联数据采集解决方案5G+AI 智能工业视觉解决方案白皮书V1.0 12 3.1 工业视觉四类典型应用方案 工业视觉应用中业务模型是指从输出数据的相机端侧到接收数据的处理单元侧之间传输的数据类型、承载协议、数 据量、传输间隔等业务模型，用于辅助分析不同的系统架构实现。 5G+AI 工业视觉解决方案 3 典型工业相机系统处理流程 典型工业视觉应用系统处理流程如上图所示。工业视觉应用系统中相机在获得某信号触发指令后，执行图像采集过 程，并将采集到的图像传输到处理设备，在图像识别检测处理完成后，根据结果进行指定的执行动作；一般在确定的产 线工位生产循环节拍 CT（Cycle Time ）时间下，用于视觉应用系统处理的最大时间是固定的。 在不同的应用系统架构下，工业机器视觉应用业务模型包括以下四种。 基于智能工业相机实时控制 / 结果类应用方案 内置图像处理功能的智能工业相机输出的实时图像检测结果可直接用于应用处理， 此类数据数据量小 (100Byte)， 实时性要求相对较高，相机一般支持 TCP/IP、UDP 等通用接口协议用于传输数据5G+AI 智能工业视觉解决方案白皮书V1.0 13 基于智能工业相机非实时类应用方案 此类数据内容一般为对时延不敏感的非实时备份图像、监测命令、文件等类型数据，使用 TCP/IP、FTP 等通用协议 用于数据传输。以工业事件监控相机为例，当某事件触发相机进行记录时，相机通过 FTP 协议上传约 5MB 大小的一个 视频文件。 基于非智能工业相机实时图像类应用方案 非智能（PC Base）工业相机因可适配应用场景众多，是目前工业主流应用方式。此类相机所使用的数据协议接口 种类众多，以 IP 化的 GigE Vision 及 USB 为主流应用，在工业应用中，GigE Vision 允许用户在很长距离上用廉价的标 准线缆进行快速图像传输。 工业相机通过 GigE Vision 协议传输的数据速率取决于相机的像素、格式、帧率： 传输速率（Mbps）= （像素 x 格式 x 帧率）/ （1024*1024） 其中，像素取决于应用期望的检测精度，目前主流工业视觉应用一般为 500W、1000W 及 2000W 像素；格式包括 Mono、RGB、YUV 等 ，根据显示内容的丰富性格式分为 1 位、8 位、16 位、24 位、32 位等 ；帧率取决于应用要求 ， 即在确定 CT 时间下，可以允许多长的图像采集时间；因此，非智能工业相机的业务速率并不是一个固定值，而是取决 于某个具体的应用需求5G+AI 智能工业视觉解决方案白皮书V1.0 14 基于工业 IPC 摄像机类应用方案 IPC（IP Camera）网络摄像机数据一般通过 H.264 进行视频流编码。H.264 与其它现有的视频编码标准相比，它即 保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点目前主流摄像机编码后的流媒体数据传输一 般使用 RTSP/RTP 协议传输。 RTP （Real-time Transport Protocol）是用于 Internet 上针对多媒体数据流的一种传输层协议。RTP 协议定义了在 互联网上传递音频和视频的标准数据包格式。 RTSP （Real Time Streaming Protocol）是用来控制声音或影像的多媒体串流协议，并允许同时多个串流需求控制， 传输时所用的网络通讯协定并不在其定义的范围内。 IPC 视频业务速率取决于视频分辨率、编码格式、帧率等参数，如目前典型的 H.264 编码格式下的典型码率如下表 所示。 视频质量 分辨率 视频编码格式 典型码率 1080p30fps 1920 x1080 H.264 4M 2K30fps 2560 x1440 H.264 6M 4K30fps 3840 x2160 H.264 16M5G+AI 智能工业视觉解决方案白皮书V1.0 15 3.2 5G+AI 工业视觉解决方案架构 如 3.1 节描述 ，对于智能工业相机应用场景 ，相机与数据处理平台之间的应用层数据交互一般是基于TCP/ IP 或 UDP 协议的非图像类数据交互 ，一般不涉及深度学习图像处理 ，网络部署上只需保证通过 5G 网络的两端设备能互通 且满足业务时延 、可靠性要求即可 ，因此不做为系统架构分析主要内容 ，本章节主要分析基于非智能工业相机应用的 5G+AI 解决方案架构。 3.2.1 逻辑架构：系统间业务数据流 如上图所示，5G 的低时延、 大带宽等特性实时传输图像数据及控制数据， 实现图像识别处理系统、 设备控制系统、 工业 AI 视觉云平台和生产业务系统间数据高效传递。 图像采集系统：实现现场图像或视频采集及处理功能； 设备控制系统：接收图像处理结果而完成设备动作控制； 图像识别管理系统：根据确定的训练模型，对采集图像进行推理预测，并反馈结果及实现相关设备控制的功能； 工业 AI 视觉云平台：基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标 注及训练生成数据模型的功能； 企业生产业务系统：企业的生产信息化管理系统，如 MES，WMS，ERP 等； 基于 5G+AI 的典型工业视觉业务逻辑架构5G+AI 智能工业视觉解决方案白皮书V1.0 16 行业 视觉应用场景 典型 CT 时间 允许的视觉处理时间 3C 手机壳表面瑕疵检测 2s 500ms1s 3C SPI/AOI 检测 500ms 200300ms 汽车 焊点检测 90s 115s 3.2.2 物理架构：现场硬件部署位置 在不同的工厂的应用需求、项目成本和网络能力等前提下，基于 5G+AI 的工业视觉系统物理部署架构分为现场 推理与闭环控制，边缘云训练和边缘云推理与闭环控制，边缘云训练两大类，如下图所示： 1) 现场推理与闭环控制，边缘云训练 在该架构中，相机通过有线连接到工控机（或其他处理设备），工控机和 AI 视觉云平台通过 5G 网络连接，实现设 备状态和软件版本的在线可视化管理， 同时将瑕疵、 误杀、 疑似等图像上传到视觉 AI 云平台， 快速迭代模型并自动下发， 让本地侧的设备越来越聪明； 现场推理与闭环控制功能，能满足严苛的超低实时性要求。如 3.1 节所述，不同行业的生产节拍不同，不同的应用 允许工业视觉处理及根据结果进行设备控制的时间不同。因此，根据应用场景提供如下参考： 现场推理与闭环控制，边缘云训练架构示意5G+AI 智能工业视觉解决方案白皮书V1.0 17 2) 边缘云推理与闭环控制，边缘云训练 边缘云推理与闭环控制，边缘云训练 在该架构中，现场仅实现图像采集，通过 5G 网络上传图像，边缘云视觉平台完成推理预测及设备控制指令下发等 功能，其中，AI 视觉云平台的部署与架构同上方案。 利用 5G 网络大带宽、高可靠性的特性，实现现场部署的硬件简单、标准化和灵活部署，持不同应用需求，边缘云 硬件及软件能力易扩容，资源可复用，更利于工业视觉应用的广泛推广。 总结，以上两种方案在未来工厂可能根据业务需求同时存在，但是具体的一个应用，可根据如下公式计算评估：以 非智能工业相机实时图像类数据业务模型为例，当该公式左侧值大于右侧值时，建议采用 1 ）现场推理与闭环控制，边 缘云训练，反之建议采用 2 ）边缘云推理与闭环控制，边缘云训练： Sf V5G TC + + Ti + Tr Tp 其中： TC : 非智能工业相机图像传输前处理耗时，如对图像的预处理、ROI 选择、压缩等 Sf : 待传输图像大小 ； 如果是原始图像传输， 则与相机像素、 位深有关 ； 如果是压缩图像传输， 则与图像格式 （像素、 位深）、有损压缩质量、图像色彩丰富程度及不同的压缩算法有关 V5G : 5G 网络所能提供的带宽速率 Ti : 在边缘平台上完成推理的耗时 Tr : 根据推理结果从边缘设备控制端侧设备时传输消息耗时 Tp : 为根据 CT 时间计算推导出的允许视觉处理的时间5G+AI 智能工业视觉解决方案白皮书V1.0 18 3.3 管：图像传输高经济性方案 5G 网络对比传统有线有移动性和灵活性优势 ，同样有带宽的劣势 。以中国移动目前 2.6GHz 的 100MHz 频段 为例 ，按照目前 4:1 的帧配比 ，单终端理论上行峰值速率约为 190Mbps，如果为 7:3 帧配比 ，理论上行峰值速率为 280Mbps；但在实际应用环境中 ，受各种因素影响 ，单终端普遍可获得上行速率在 50100Mbps。因此 ，为适配当前 5G 网络能力，减少对 5G 传输网络的带宽需求，提升传输网络每单位 Bit 的经济价值，可采用如下方案解决： 图像 ROI 抠图方案 在某些应用场景下，所检测的目标区域相对固定在整张图的某个区域，此时可以通过设置 ROI 区域的方式，仅采集 该区域图像，降低数据传输量。如下图所示案例，通过 ROI 设置所读取的单板二维码信息区域，可以将单帧图像大小降 低到 10% 左右。 此方案存在的缺陷在于不是所有的检测对象都是在固定区域，比如物体表面的缺陷、瑕疵检测，可能会出现在整 幅图的任何区域，此时则不能划分固定区域。 图像压缩方案 图像压缩方案是指在端侧先进行图像有损 / 无损压缩，然后基于 TCP 或可靠的 UDP 传输协议通过 5G 网络上传， 以达到降低对网络带宽需求及提高传输可靠性的目标，针对不同的应用需求在压缩图像质量、压缩率、压缩时间之间找 到一个最佳的压缩算法。 基于此目的，通过对视觉测量、OCR 二维码读取、基于 AI 的深度学习检测等应用场景，在基于 BMP 原图的基础上 使用广泛使用的不同压缩质量的 JPEG 图像对检测结果的影响进行多项测试，测试结果表明： 对测量类 视觉应用的影响 根据测试结果，图像压缩后测量误差最大 0.3 个像素，其中最大是指采用 JPEG 压缩算法，在保证能进行有效测量 时采用最低压缩质量，压缩图像测量结果与 BMP 格式的原图测量结果之间的误差最大值；（该结论仅基于测试场景， 不一定具备普适性，需要在每种具体的应用场景中进行测试）； 对 OCR 字符识别应用的影响 有损图像压缩对字符识别的影响较小， 在保证能检测出来的前提下， 可以采用很小的压缩质量， 压缩率可达几十倍 ； ROI 区域抠图5G+AI 智能工业视觉解决方案白皮书V1.0 19 对基于 AI 深度学习图像推理预测的 影响 有损压缩图像对边缘云上进行推理结果的影响是重点测试分析场景， 针对 3C 及汽车行业典型的工业视觉应用场景， 分析了压缩图像对 AI 检测结果的影响如下： a) 模板匹配类的有无检测 某 3C 产品使用深度学习检测工件表面硅胶点胶是否缺失，使用 2000W 像素的彩色相机，原图大小 56.6MByte， 采用 JPEG 压缩后大小 1.5MB，检测