使用Jetson Nano的CSI相机接口

描述

本教程取自此存储库https://github.com/JetsonHacksNano/CSI-Camera和JetsonHacks上的原始文章。

演示

使用 Jetson Nano 的 CSI 相机接口

使用带有 NVIDIA Jetson Nano 开发者套件的 MIPI-CSI（版本 2.0）相机（如 Raspberry Pi 版本 2 相机）的简单教程。

摄像头应安装在载板上的 MIPI-CSI Camera Connector 中。相机色带上的针脚应面向 Jetson Nano 模块。

测试相机：需要链接

$ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM),width=3820, height=2464, framerate=21/1, format=NV12' ! nvvidconv flip-method=0 ! 'video/x-raw,width=960, height=616' ! nvvidconv ! nvegltransform ! nveglglessink -e

有以下三个例子：

simple_camera.py 是一个 Python 脚本，它使用 OpenCV 从相机读取并显示到屏幕上的一个窗口：

$ python simple_camera.py

face_detect.py 是一个 python 脚本，它从摄像头读取并使用 Haar Cascades 检测面部和眼睛：

$ python face_detect.py

Haar Cascades 是一种基于机器学习的方法，其中从大量正负图像训练级联函数。然后该函数用于检测其他图像中的对象。

第三个示例是一个简单的 C++ 程序，它使用 OpenCV 从摄像头读取数据并显示到屏幕上的一个窗口中：

$ g++ -std=c++11 -Wall -I/usr/lib/opencv simple_camera.cpp -L/usr/lib -lopencv_core -lopencv_highgui -lopencv_videoio -o simple_camera
$ ./simple_camera

笔记

OpenCV 4 和 JetPack 4.3

从 JetPack 4.3/L4T 32.3.1 开始，Jetson 运行 OpenCV 4。这意味着如果您使用的是早期版本的 JetPack，则需要选择此 CSI-Camera 存储库的早期版本。例如，为了做到这一点，在运行示例之前：

$ git clone https://github.com/JetsonHacksNano/CSI-Camera.git
$ git checkout v2.0

相机图像格式

您可以使用 v4l2-ctl 来确定相机功能。v4l2-ctl 在 v4l-utils 中：

$ sudo apt-get install v4l-utils

对于 Raspberry Pi V2 摄像头，输出为（假设摄像头为 /dev/video0）：

$ v4l2-ctl --list-formats-ext
ioctl: VIDIOC_ENUM_FMT
Index       : 0
Type        : Video Capture
Pixel Format: 'RG10'
Name        : 10-bit Bayer RGRG/GBGB
Size: Discrete 3280x2464
Interval: Discrete 0.048s (21.000 fps)
Size: Discrete 3280x1848
Interval: Discrete 0.036s (28.000 fps)
Size: Discrete 1920x1080
Interval: Discrete 0.033s (30.000 fps)
Size: Discrete 1280x720
Interval: Discrete 0.017s (60.000 fps)
Size: Discrete 1280x720
Interval: Discrete 0.017s (60.000 fps)

GStreamer 参数

对于 GStreamer 管道，nvvidconv 翻转方法参数可以旋转/翻转图像。当摄像机的安装方向与默认方向不同时，这很有用。

flip-method         : video flip methods
flags: readable, writable, controllable
Enum "GstNvVideoFlipMethod" Default: 0, "none"
(0): none             - Identity (no rotation)
(1): counterclockwise - Rotate counter-clockwise 90 degrees
(2): rotate-180       - Rotate 180 degrees
(3): clockwise        - Rotate clockwise 90 degrees
(4): horizontal-flip  - Flip horizontally
(5): upper-right-diagonal - Flip across upper right/lower left diagonal
(6): vertical-flip    - Flip vertically
(7): upper-left-diagonal - Flip across upper left/low

OpenCV 和 Python

从 L4T 32.2.1 / JetPack 4.2.2 开始，GStreamer 支持内置到 OpenCV 中。请注意，如果您使用的是早期版本的 OpenCV（很可能是从 Ubuntu 存储库安装的），您将收到“无法打开相机”错误。如果您可以从命令行在 GStreamer 中打开相机，但在 Python 中打开相机时遇到问题，请检查 OpenCV 版本。

>>>cv2.__version__

参考

• https://github.com/JetsonHacksNano/CSI-Camera