邵科
飞凌微首席执行官，思特威副总裁
在数据如海洋般深邃的时代，端侧AI犹如一叶扁舟，在各大应用场景中自由穿梭，赋予万物以智慧的眼眸。
在汽车的世界中，端侧AI更像一位全能的舵手，巧妙地编织着数据的经纬，使自动驾驶可靠且安全，也让车内环境安心又舒适，将每一次出行都变成愉悦的旅程。
飞凌微首席执行官、思特威副总裁邵科分享关于端侧视觉处理芯片及将端侧SoC和图像传感器相结合在车载应用方案上面的一些落地案例。演讲主要分3个部分：简单交流端侧AI处理优势及主要应用场景；介绍飞凌微现在已经发布的M1智能视觉处理芯片系列；最后是关于M1系列芯片在车载视觉中的应用。
近十多年，端侧AI有了很多发展，其中主要有2个方面：一是图像传感器、视觉类的产品用得越来越多，从原来的安防监控、公共安全，到现在手机、家用的IPC、门铃等各方面，也有消费类机器视觉（扫地器、人脸支付）等方面，视觉应用越来越宽泛；二是神经网络，像AI算法，近十多年也发展得越来越快速，越来越多应用落地，在这个方面，其实会有很多视觉加上AI场景应用在各行各业和日常生活的各个方面。
端侧AI处理主要有3种方式：一是在端侧采集数据，在云端做处理，相对实效性没有那么高；二是非常普遍采用的，在端侧采集数据，同时在本地中央计算来处理AI数据；三是相对挑战性比较大的，即直接在端侧采集数据，同时在端侧处理，这种方式带来应用上的好处是首先没有了大数据传输过程，延时相对低，同时可靠性也会变得更强。现在对数据安全、隐私保护是比较关注的，所以在一系列特定应用上面，包括车载舱内视觉应用方面，大家还是希望能够保护原始图像的信息。在端侧做这些处理可以有效降低数据被泄露的潜在可能性，同时在方案上具备更低成本以及更低时效性。
端侧AI也有很多潜在的应用，像智能车载、智能家居、物联网、机器视觉等。越来越多的研发在探索通过端侧做完整感知处理或者与中央计算机配合做预处理，然后反馈给后端，从而形成更加有效的处理方案。
举例来说，如今智能汽车视觉应用大大提高了大家驾驶的体验。视觉传感器用得越来越多，既用来做影像类的360°环视，也用于辅助驾驶的ADAS辅助系统，另外也用在舱内的监控等方面。应用落地越来越多，对摄像头的规格也提出越来越高的需求，包括更高的分辨率以及更好的成像性能，有时也需要能够有多个摄像头组合应用。这些需求对图像性能要求越来越高，同时对处理性能要求也越来越高。
基于这些市场需求及应用方案的思考，飞凌微今年推出了M1系列3款产品，分别是用于车载的高性能ISP和2颗用于车载的端侧视觉感知预处理轻量级SoC，这3颗芯片都具有最小的封装，例如BGA 7mm×7mm，这能够使模组做得更加小巧，从而有助于在车载上的应用落地。
由于产品的目标是用在车载，所以也有与车载应用相关的独特技术，包括功能安全、信息安全等。接下来，邵科介绍了这3款产品的具体情况。
首先，M1是一颗高性能的ISP，能够接800万像素的图像数据或者接2颗300万像素的图像数据，不管是应用在车载的ADAS、影像类的产品，还是后视镜等方面，都有比较好的应用的落地。ISP是飞凌微持续多年自研的技术之一，能够很好地符合车载在影像、视觉采集上2个重要的要点，一是高动态范围，二是优秀的暗光性能。因为光对于高动态范围有比较高的要求，比如白天阳光的照射、晚上车灯的照射，这些不仅影响直观的屏幕识别，同时也包括算法的识别。飞凌微的高性能ISP可以结合图像传感器实现高动态范围的成像。暗光效果是整个视觉成像的难点，包括没有路灯的环境或者非常暗的车库中等等，在这种暗光场景下能够更好看到周围的环境对于驾驶来讲是非常重要的。飞凌微ISP不仅仅有独特的降噪处理技术，同时也结合了AI去做ISP，因此能够更好提升暗光时的识别效果。
M1Pro基于高性能ISP之外，加入了CPU、NPU的算力，使得在处理好图像的同时能够做轻量级的AI应用，包括人脸识别、姿态识别等等。相应的功能或通过飞凌微自研的0.8 TOPS的NPU实现。
为了适应不同应用的需求，还推出了一款M1Max，它的算力资源是M1Pro的2倍，能够在端侧处理更多的数据。M1Pro可以在车载里做一个DMS或者一个单独的OMS的功能，但是通过M1Max可以同时接2个传感器的数据，并且同时进行处理，使得应用场景更加丰富。
以上这些已经在一些车载场景中实现了落地应用。比如通过车内的DMS驾驶员监控系统，对驾驶员的面部、声音等状态进行监测及反馈，起到报警或提示的作用，同时也可以作为域控或者对车驾驶情况判断的依据。一些新势力汽车通过集成化把所有图像传感器接到用户端，由于它的算力是冗余的，因此可以基于这些数据很好地实现驾驶员监控的功能。另外，目前也有大量的汽车整个电驱的架构资源是有限的，基于这种情况，可以在端侧实现以上功能，先在模组端处理视觉数据，然后直接输出有效的已经处理过的数据，就可以很容易地通过替换原来的模组集成这些新的功能。
舱内的另外一个应用OMS现在主要是这2方面：一是用来做拍照或者视频相应的应用，也可以用作手势识别等感知应用，这对图像传感器性能及方案上提出一些新的要求，例如在成像的同时能够输出RGB彩色的图像，也能够输出近红外的图像进行识别。飞凌微500万图像传感器结合M1形成一套在模组的方案，能够分别输出RGB的图像，可以用于舱内娱乐、拍照等等，同时也可以输出IR的图像用于算法识别。这部分的功能也可应用在监测是否有儿童遗落在车内等等。
第3个应用是电子后视镜。电子后视镜对于图像传感器及成像有更高的要求，因为不仅仅是白天要达到和物理后视镜同样的效果，晚上（暗光）的时候还要更好地提升夜视的性能。在这个方案里，一般需要图像传感器再配合高性能的ISP组合起来实现更好的成像。
第4个应用比较广泛，就是在后视摄像头上加了一些识别算法。常规来讲，后视摄像头只是倒车的时候才会使用，但是我们在端侧具备一定的算力之后，可以在后视的时候检测行人和物体，避免一些潜在的影响驾驶安全事情的发生。通过图像传感器跟端侧SoC进行组合，在模组端实现一个轻量化的应用方案。
端侧应用不仅是在车载上，在很多其他行业，包括工业自动化、智能家居等方面也会有非常多应用场景。飞凌微一直在持续开发新的系列SoC产品，在方案上与图像传感器更紧密结合，在端侧为大家提供方方面面的应用。