Why should i.MX 8M application processor add ISP and machine learning acceleration functions?

敢为人先，敢于引领和创新。一直致力于为i.MX应用处理器的摄像头模块接口提供支持。恩智浦也在许多SoC上实现了CPU和GPU等共享资源的机器学习。这一功能仍然运行良好(根据应用的需求而异)，这篇博文阐述了恩智浦为何决定对其进行升级，并在i.MX 8M Plus中添加图像信号处理器(ISP)和机器学习(ML)加速器。

机器学习的重要性与日俱增

特别是，在云端进行机器学习是支持人们使用智能手机语音助手或智能扬声器语音助手的关键技术，还支持社交媒体甚至手机对包含特定人员的照片进行分组。但这些用例都依赖在云端服务器上运行的机器学习。解决的真正挑战是边缘机器学习。所有机器学习推理在i.MX 8M Plus等边缘处理器进行本地运行。在边缘运行ML推理意味着，即使网络访问中断，应用也能够继续运行 —— 这对于监控或异常检测等应用至关重要，对在没有网络接入的偏远地区运行也非常重要。与必须将数据发送到服务器进行处理并将结果发回的情况相比，在边缘运行ML推理还降低了决策延迟。例如，当执行工业工厂现场目视检查时，或需要决定是接受还是拒绝一掠而过的产品时，低延迟至关重要。

边缘机器学习的另一个关键优势是保护数据安全。收集的专有数据（如边缘设备捕获的员工、生产和物流数据）将在边缘进行处理并保存在本地。系统不会把信息发送到云端进行处理，仅在云端进行记录和跟踪。企业的隐私不会受到损害，企业可自行决定是否在云端共享信息。

需要什么程度的边缘机器学习？

现在，考虑到对边缘机器学习的需求较大，问题变成了需要什么程度的机器学习。衡量机器学习加速器的一种方法是每秒的运算次数(通常是8位整数相乘或累加)，通常称为TOPS（即每秒万亿次运算）。这是基本基准，因为整体系统性能也受许多其他因素影响，但TOPS是使用最多的机器学习测量方法之一。

事实证明，在边缘进行完整的语音识别(不只是关键字识别)需要大约1-2个TOPS(具体取决于算法，如果希望了解用户想表达的意思，而不仅仅是将语音转换为文本，则需要更多运算次数)。以60fps执行目标检测(使用Yolov3等算法)也需要大约2-3个TOPS。因此，机器学习加速(如i.MX 8M Plus的2.3 TOPS)是这类应用的最佳选择。

下一步：图像信号处理器(ISP)

所有基于摄像头的系统中都具有ISP功能，尽管有时可以集成到摄像头模块或嵌入到应用处理器中，并且可能对用户隐藏。ISP通常会进行多种类型的图像增强，其主要目的是将原始图像传感器的每像素输出的单色分量转换为系统中其他部分更常用的RGB或YUV图像。

当摄像头输入来自网络或网络摄像头(一般通过以太网或USB连接到应用处理器)时，没有ISP的应用处理器在基于视觉的系统中运行良好。对于这些应用，摄像头可以与处理器保持一定距离，甚至可以达到100米左右。摄像头本身内置了ISP和处理器，可转换图像传感器信息并对视频流进行编码，然后再通过网络发送。

没有ISP的应用处理器也适用于分辨率相对较低的摄像头。在100万像素或更低的分辨率下，图像传感器通常内置了ISP，可将RGB或YUV图像输出到应用处理器，处理器内不需要ISP。

但在约200万像素(1080p)或更高的分辨率下，大多数图像传感器没有内置ISP，而是依赖系统中其他部件的ISP。可能依赖独立的ISP芯片(可以运行，但会增加系统的功率和成本)，也可能依赖集成在应用处理器中的ISP。正因如此，恩智浦选择采用i.MX 8M Plus的解决方案 —— 提供高质量的成像，同时也是优化的成像解决方案，特别是在200万像素和更高分辨率的情况下。

借助基于智能视觉的系统，智能工厂可以提高生产率、质量和安全性。

推动智能边缘设备的发展

综上所述，i.MX 8M Plus应用处理器集2.3 TOPS机器学习加速器和ISP于一身，无论是用于智能楼宇、智慧城市还是工业物联网应用，都将成为边缘嵌入式视觉系统的关键元件。借助嵌入式ISP，它可以打造直连到本地图像传感器的高质量图像优化系统，甚至可以将这些图像数据提供给较新的机器学习算法，所有这些都可以减轻本地机器学习加速器的负担。

采用为机器学习和视觉系统而优化的i.MX 8M Plus架构，边缘设备设计人员能够像恩智浦一样敢为人先，敢于引领和创新。他们拥有强大的机器学习能力，配合高清摄像头系统，能够让设备看得更清晰、更远。嵌入式领域不断涌现新的创新机遇。

采用为机器学习和视觉系统而优化的i.MX 8M Plus架构，边缘设备设计人员能够像恩智浦一样敢为人先，敢于引领和创新。他们拥有强大的机器学习能力，配合高清摄像头系统，能够让设备看得更清晰、更远。嵌入式领域不断涌现新的创新机遇。