Jetson 平臺關於計算機視覺開發的簡介

• 4 Core A57 CPU,
• 支援Gstreamer，並且有NV通過的OpenMax硬體加速的API 用於硬體編碼、解碼(OMX Gstreamer plug-ins, provided by Nvidia)
• a GPU with 256 CUDA Cores 可用於平行計算，對於流媒體進行處理
• 支援TensorRT，部署神經網路，通過根據前端的流媒體進行推理。

一般的應用：
video Input： v4l2 （CSI UVC-camera、RTP/RTSP 流）
video Output：Display or proprietary framebuffer

Multimedia APIs:
- gstreamer(high level) ： Hawdware Scalling, CODECs（omx）
- NVIDIA L4T Multimedia API（low level）: video input，V4L2 API ，buffer management
- OpenCV，Deep Learning Frameworks(TensorRT Yolo )
GPU Integraton
- CUDA
- OpenGL
- Vulkan

開發架構

例項分析

比如針對一個具體的應用，將採集的一路4K視訊和一路HD視訊疊加在一起，壓縮，然後網路傳輸出去。 如下圖所示。

通常來說，這個功能的pipeline構建很容易想的到，但是如果想把這個大的資料量傳輸好，並保證幀率，就需要對這個pipeline進行仔細優化了。

首先對於視訊的H.264/H.265編碼可以採用NV提供的Gstreamer omx硬體加速。
對於前端的影象處的合併會涉及大大量的記憶體操作，如果處理不好，會導致大量的記憶體拷貝，直觀的結果會導致幀率的下降。所以前端可以採用GPU的平行計算，對於影象資料進行處理。