订阅电子报，掌握最新科技与产业趋势
2018/12/18
新一代迷你超强人工智慧边缘计算开发平台NVIDIA Jetson AGX Xavier开箱文
开箱者：益登科技(EDOM Technology)
继Jetson TX2之后，NVIDIA又推出新一代迷你超强人工智慧边缘计算的开发平台--Jetson AGX Xavier。它是一款用于自动机器的AI计算机，在紧凑的100 x 87mm模组大小中提供无与伦比的32 Tera OPS(TOPS)峰值计算，并具有10W、15W和30W可配置的操作模式。 Jetson AGX Xavier为可部署到边缘的计算密度、能效和AI推理功能设立了新的标准，使下一代智能机器具有端到端自主功能。 Jetson开发平台专注于性能、效率和可编程性，使用深度学习和计算机视觉为许多世界上最先进的机器人和自动机器提供动力。
性能方面，带有Tensor内核的集成Volta GPU，双深度学习加速器(DLAs)，八核NVIDIA Carmel ARMv8.2 CPU，GPU采用512颗CUDA的Volta，支持FP32/FP16/INT8。在15W功耗以下，单精度浮点性能为1.3 TFLOPS，Tensor核心性能为20 TOPS。如果解锁到30W，性能可达到32 TOPS。记忆体子系统为16GB，256位元LPDDR4x @ 2133MHz (137 Gb/s)，以及32 GB eMMC快闪记忆体和650Gbps的高速I / O，包括MIPI CSI-2的PCIe Gen 4和16个摄像机通道。标准的DevKit包括Jetson AGX Xavier计算模组、开源参考载板、冷却解决方案和电源。 DevKit上提供了几个方便的I/O接口，如下表所示：
NVIDIA在开发者网站上也公布了AGX Xavier相关的技术文件，包含硬体参考设计、JetPack 4.1开发人员预览抢先版软体安装包、LT4核心编译流程说明以及Tensorflow深度学习相关的开发工具。益登科技的研发团队在第一时间取得AGX Xavier当时便做了简单的性能测试，以及益登自家研发的GMSL转接板与车用镜头模组的功能验证。
1. 开机功能测试
从按下开关到进入Ubuntu桌面，大约花了40秒的时间。 AGX Xavier有内建USB UART的接口，开发者只要透过Micro USB的传输线就可以跟很快地跟主机连接，方便开发者检视由AGX Xavier上发出的侦错讯息。
2. JetPack 4.1开发人员预览抢先版软体包安装过程以及示范程式功能展示
NVIDIA JetPack SDK是构建AI应用程序的最全面的解决方案。它捆绑了所有Jetson平台软体，包括TensorRT、cuDNN、CUDA Toolkit、VisionWorks、GStreamer和OpenCV，它们都建立在带有LTS Linux内核的L4T之上。使用JetPack安装程序使用最新的操作系统映像刷新Jetson Developer Kit，为主机PC和Developer Kit安装开发人员工具，并安装快速启动开发环境所需的程式库和API、示范程式和文档。
我们下载了JetPack 4.1 Developer Preview EA components软体包并进行安装，安装包里有包含：
-
L4T R31.0.2
-
Ubuntu 18.04 LTS aarch64
-
CUDA 10.0
-
cuDNN 7.3
-
TensorRT 5.0 RC
-
VisionWorks 1.6
-
OpenCV 3.3.1
这个安装非常简单，只要遵循视窗提示的说明一步一步操作，就可以完成软体安装。因此我们简化整个流程，只针对NVIDIA官网公布的安装文件中，做重点式的描述。
2.1 先下载JetPack-L4T-4.1-linux-x64_b5.run并更改可执行的属性 (chmod +x) 然后执行
2.2 选择 Jetson AGX Xavier
2.3 选择安装所有的元件
2.4 选择PC与Jetson Device之间网路连接的方式，建议选择第一个连接方式。
2.5 等终端视窗出现时，继续按照上面要求的动作。
2.6 随时注意视窗内的提示，若有过程中有问题产生，可依据视窗内的建议进行排解，最后便可完成所有安装。
2.7 执行范例程式: 12_camera_v4l2_cuda与backend
12_camera_v4l2_cuda主要在展现撷取V4L2 YUV的摄像头的影像，我们使用的是ES1016 GMSL的摄像头，解析度为1280x720 @ 30p。
另一个backend范例则是载入高清预录的车流影片，展现使用NVIDIA TensorRT执行车辆侦测，并在识别为车辆的周围生成边界框。
3. NVIDIA Jetson开发板专属开发套件介绍与实测
以下介绍益登科技所研发的Jetson开发板专属开发套件，共有三个组成
-
ES1016-60J/ES1016-120J: GMSL镜头模组-FOV60/FOV120
-
ET-GMSL: NVIDIA Jetson开发板专用GMSL镜头转接板
-
GMSL传输线
Multiple GMSL Camera System
ET-GMSL是一个专门为NVIDIA Jetson 开发板上设计的转接版，主要是延伸TX2模组上MIPI CSI的介面，藉由转接板MAXIM MAX9288 Deserializer转换成GMSL的介面。靠着MAXIM GMSL的技术，在全速传输模式可以将视讯讯号延伸至15公尺远的距离。
ES1016由SONY高感度图像传感器ISX016(130万像素)和大立光超高分辨率镜头组成。图像输出格式为YUV422，可以根据用户的设置进行更改。连接接口采用MAXIM的MAX96705和FAKRA Z型连接器应用于连接接口。 ISX016内部有嵌入式ISP，可在IQ调整方面提供更大的灵活性。
开发者可以借着这些专用配件进行车用平台相关的开发，如高级辅助驾驶系统、机器人，或是无人地面载具。
3.1 四路镜头即时环视功能:
影片中呈现四路镜头即时显示功能，每个镜头撷取的影像皆为720p@30pfs，利用gstreamer plug-in “nvvidconv”将每个显示画面缩放至640x360大小，可用于环视功能的应用。
3.2 四路镜头即时物件侦测功能:
影片呈现的是四路镜头即时物件(车辆)侦测功能，针对影片里的车辆做多物件框选的标示动作。每路镜头呈现720p, 15pfs，可用于高级辅助驾驶系统的应用。
浏览完整影片
3.2 四路镜头即时物件侦测功能:
影片呈现的是四路镜头即时物件(车辆)侦测功能，针对影片里的车辆做多物件框选的标示动作。每路镜头呈现720p, 15pfs，可用于高级辅助驾驶系统的应用。
浏览完整影片
结论:
Jetson AGX Xavier专为机器人、无人机和其他自动机器而设计，这些机器需要在边缘进行最大程度的计算，以运行现代AI工作负载并解决制造、物流、零售、服务、农业等方面的问题，也适用于智能城市应用和可携式医疗设备。它的深度学习计算能力是大约TX2的20几倍，所以它能处理比TX2更大的演算资料与更多并行的处理线程。目前释出的JetPack 4.1开发人员预览抢先版只提供功能的验证，NVIDIA还在做一些效能的调整以及增加的额外功能，请拭目以待。如果开发者在使用上有遇到任何问题，可以上NVIDIA开发者网站的论坛上发文来寻求协助。若您有任何产品咨询的需求，欢迎与NVIDIA代理商益登科技联系(sales@edom-tech.com)。
参考文献:
https://elinux.org/Jetson_AGX_Xavier
https://docs.nvidia.com/jetpack-l4t/4.0DPEA/index.html#jetpack/4.0ea/introduction.htm
https://developer.nvidia.com/embedded/faq
https://news.developer.nvidia.com/
参考文献:
https://elinux.org/Jetson_AGX_Xavier
https://docs.nvidia.com/jetpack-l4t/4.0DPEA/index.html#jetpack/4.0ea/introduction.htm
https://developer.nvidia.com/embedded/faq
https://news.developer.nvidia.com/
