OpenFive的AI视觉平台简化了定制边缘SoC的部署 

介绍

       随着人工智能技术的普及，计算机视觉在过去几年中取得了巨大的进步。大数据交互和大规模并行计算改变了为理解非结构化2D和3D数据而对机器进行编程的方式，比如摄像头提供的视频。程序员使用深度卷积神经网络算法替代了编写一套规则的方式，使机器能够从一个大型的、有标记的数据集中归纳出一个解决方案。这项名为“人工智能视觉”的新技术，使机器在精确识别物体和图像方面具备了超人的能力。人工智能视觉催生了机器中由许多智能传感器组成的摄像头。

       AI vision现在被部署在许多新的应用中，比如：

-自动驾驶

-智慧城市与农业

-工业和仓库机器人

-送货无人机和机器人清洁工

-增强现实

-智能零售和智能家居

       传统上，AI视觉的大部分处理都是在具有大规模并行计算能力的云中进行的。然而，随着AI vision的大规模部署，从摄像头到云处理的流视频将超过可用的网络带宽。一个1920x1080像素的摄像机在拍摄30帧每秒图像时将产生大约190兆字节每秒的数据。由于部署了数千万台设备，即使使用H.265压缩，也需要每秒超过5拍字节的数据。此外，隐私问题和双向网络延迟正在将人工智能处理移至数据源头的边缘。定制soc则需要满足边缘AI视觉的功耗限制。 

Figure 1. AI vision applications

人工智能推动asic的新增长

图2 AI edge 2025年总市场规模将超过60亿美元

       与传统的机器学习技术相比，人工智能的优越性能使它被应用在从消费级工业级再到车规级应用的所有市场上。这刺激了在云和边缘领域新的包含了人工智能的硬件的增长。更具体地说，如图1所示，边缘AI硬件总市场将在2025年增长到60亿美元，其中45亿美元用于推理，15亿美元用于硬件培训[1]。

       今天，许多硬件基于通用cpu和gpu运行AI。然而，随着性能要求的不断提高，越来越多的专用soc与定制的AI加速器一起被开发出来，以在严格的功耗限制下满足这些要求。到2025年，70%的人工智能边缘训练和推理硬件将使用定制asic[1]。  

从摄像头到网络上的元数据

图3 从摄像机到网络的典型数据流

       典型的人工智能视觉 soc必须分析来自一个或多个摄像机的视频流，并对场景进行实时推断，例如对象的类型和对象的意图。根据这些推断以及来自其他传感器的数据，人工智能视觉SoC需要做出决策，例如控制机器人的方向，并将元数据发送到云端。

       图3显示了人工智能视觉 SoC中的数据流示例。摄像头通过CSI接口将原始视讯流发送给人工智能视觉SoC。输入的原始视频流在ISP中进行预处理(颜色和失真校正，白平衡等)。视觉DSP抓取视频的每一帧，并执行颜色空间转换和图像大小调整。视觉DSP和人工智能加速器通过运行多个神经元网络运算从正在调整大小的图像上提取相关信息。CPU产生该元数据并可将该元数据嵌入视频流中。然后用H.265编码器压缩视频流。然后，CPU对压缩流和元数据进行分组，网络控制器通过网络将这些分组发送回云。    

借助OpenFive的AI视觉平台加速发展

       使用定制加速器构建和部署定制人工智能视觉 SoC需要大量时间和专业知识。一般情况下，您要寻找所有相关的IP，并将它们与您的定制加速器集成，然后使用软件开发工具包将其产品化。同时，你正在和你的竞争对手争先恐后地抢占市场。你还要为能第一个向市场推出产品而和竞争对手赛跑。

图4 缩短开发周期6-9个月

       OpenFive的AI-Vision平台是一个加速定制AI-Vision soc部署的解决方案。OpenFive的AI视觉平台由多个可定制的子系统组成，这样您就可以将 您的精力放在终端应用的关键差异化上。

图5 OpenFive的AI视觉平台

       AI视觉平台的应用程序处理子系统可以运行高级应用程序，如导航、网络和图形用户界面。它由SiFive的多核Linux处理器提供动力，并且可以配置4到8个内核。庞大的Linux软件生态系统涵盖了所有底层硬件，并提供了快速构建目标应用程序所需的api。 

       与ISP一起的视觉子系统处理从连接到CSI-2或USB的摄像头的传入视频流。视觉DSP在视频流上运行计算机视觉算法，如SLAM。此外，视频可以通过硬件加速的H.264、H.265、AV1和JPEG编解码器进行解码和编码。

       实时处理器，如SIVIVE S7，具有紧密集成的外围设备，提供实时传感和控制。高级命令通常从应用程序处理子系统发送，用于实时处理器来管理电机控制和驱动。

       AI Vision平台拥有支持千兆字节高速内存的LPDDR4/4x/5并可从四颗SPI NORFLASH或eMMC 5.1启动。该平台具有多种I/O-I2C、UART、SPI、SDIO和GPIOs，可与传感器、无线网络等非芯片外围设备进行桥接。为了实现高速连接，USB 3.2可以连接到各种调制解调器、外部摄像头和外围设备。

       整个AI视觉平台都使用SiFive Sheild方案保护，提供加密硬件，以加速执行AES、SHA、TRNG等算法。SiFive Shield的信任和安全引导机制确保只有可信软件能在AI Vision平台上运行。

       如果需要图形用户界面，AI视觉平台具有一个可视化子系统，其具有的2D/3D GPU可用于绘制图形丰富的界面，并可通过DSI、HDMI或DisplayPort接口驱动显示面板。

       由于音频对边缘感测也是一个重要的环节，音频子系统集成了I2S和数字麦克风输入和音频dac，可通过扬声器播放音频。此外，音频DSP还可以用于回音对传入音频流的回声消除和噪声抑制。

       人工智能子系统利用Yolov3、Resnet 50、MobileNet等深卷积神经网络，对视频流进行目标检测、目标识别和分割。这个AI子系统可以用您自己的自定义AI加速器来替换或增强。

       除了定制AI加速器，OpenFive还可以集成其他自定义加速器。通过使用die-2-die 接口添加额外的芯片组模具，可以进一步提高性能。 

SDK与FPGA仿真

       OpenFive的AI视觉平台的一个主要优点是利用一个基本的软件开发工具包和一个FPGA仿真平台尽早开始软件开发。通过预集成驱动程序和子系统，您可以在设计SoC时集中精力构建和测试应用程序。早期确定的增强和优化功能可以在流片之前加入SoC。  

图6 启动软件和算法开发

       此外，如果你已经在流行的机器学习框架(如TensorFlow、Caffe和PYTorch)中训练过你的AI模型，你可以利用我们生态系统合作伙伴的神经网络编译器加载到OpenFive人工智能视觉平台的人工智能加速器上。   

开始定制你的人工智能视觉系统芯片 

        OpenFive的AI视觉平台加快了AI SOC的快速部署，以适应快速发展和不断增长的边缘AI市场。OpenFive的AI视觉平台预集成的硬件和软件意味着您可以专注于您的关键优势，并尽快进入市场。 

参考资料

1.G.Batra、Z.Jacobson、S.Madhav、A.Queirolo和N.Santhanam，“人工智能硬件：半导体公司的新机遇”，2019年1月2日[在线]。https://www.mckinsey.com/industries/semiconductors/our-insights/artificial-intelligence-hardware-new-opportunities-for-semiconductor-companies。