本文主要介紹基于創龍科技TL3588-EVM評估板（基于RK3588J）的6路高清視頻采集案例，開發環境如下。

Windows開發環境：Windows 7 64bit、Windows 10 64bit

虛擬機：VMware15.5.5

開發環境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.160

LinuxSDK：rk3588_linux_release_v1.2.1

攝像頭模塊型號：TL13850和Camera Module v2

視頻分辨率：1920x1080@30fps

圖1

備注：由于案例通過等比例拼接形式采集畫面，且攝像頭幀率需統一，因此攝像頭分辨率幀率均使用1920x1080@30fps。

RK3588J的MIPI CSI介紹

RK3588J的MIPI CSI接口介紹如下。

（1）支持多種視頻格式：RAW8、RAW10、RAW12、RAW14、YUV422。

（2）包含4個MIPI CSI DPHY接口，支持MIPI DPHY V1.2標準，每個接口支持2Lane，每Lane最高支持2.5Gbps；支持將2個MIPI CSI DPHY接口組合成1個4Lane數據通道接口使用。

（3）包含2個MIPI CSI DCPHY接口（MIPI CSI DPHY/CPHY復用），支持MIPI CPHY V1.1標準，每個MIPI CSI DCPHY支持4Lane數據通道，每Lane最高2.5Gbps。

（4）支持的攝像頭接口組合方案如下：

6個攝像頭接口配置：2個MIPI CSI DCPHY(4Lane)接口 + 4個MIPI CSI DPHY(2Lane)接口；

5個攝像頭接口配置：2個MIPI CSI DCPHY(4Lane)接口 + 1個MIPI CSI DPHY(4Lane)接口 + 2個MIPI CSI DPHY(2Lane)接口；

4個攝像頭接口配置：2個MIPI CSI DCPHY(4Lane)接口 + 2個MIPI CSI DPHY(4Lane)接口。

表 1

（5）常見視頻輸入數據量理論帶寬及MIPI CSI Lane數量要求，如下表所示：

備注：以下相關數據量估算不含數據傳輸協議相關開銷，僅供參考。

表 2

案例功能說明

ISP圖像處理說明

RK3588J的ISP30模塊支持標準的Sensor圖像數據處理，包括自動白平衡、自動曝光、Demosaic、壞點矯正及鏡頭陰影矯正等基本功能，也支持HDR、去霧、降噪等高級處理功能。

ISP30功能框圖如下圖所示。

圖 2

RK3588J的圖像處理基于ISP圖像參數調試工具RKISP2.x Tuner對攝像頭采集的圖像進行標定，通過IQ參數文件將攝像頭采集的圖像優化處理后發送至顯示設備。

RKISP2.x Tuner提供了一套便于用戶調試ISP參數的工具，用戶可以在RKISP2.x Tuner中對所有ISP模塊開展標定(Calibration)、調試(Tuning)等工作。用戶可以使用RKISP2.x Tuner提供的抓圖工具(Capture Tool)來拍攝RAW圖，在標定工具(Calibration Tool)中完成基礎模塊的標定工作，在RKISP2.x Tuner中連接設備，在線進行ISP參數調試。

Tuner流程圖如下所示：

圖 3

縮放拼接功能說明

案例基于Linux的V4L2采集1080P的攝像頭畫面，通過RGA進行圖像縮放和拼接處理，最終利用DRM框架將處理后的整個畫面進行顯示。

（1）采集圖像：V4L2(Video for Linux 2)是用于支持攝像頭和視頻設備的框架，其提供了一組API和驅動程序接口，用于在Linux系統中進行視頻采集、視頻流處理和視頻播放等操作。

（2）縮放拼接：RGA(Raster Graphic Acceleration Unit)是?個獨立的2D硬件加速器，可?于加速點/線的繪制，執行圖像縮放、旋轉、bitBlt、alpha混合等常?的2D圖形操作。

（3）圖像顯示：DRM(Direct Rendering Manager)是Linux內核的一個子系統，負責與GPU進行交互。用戶空間程序可以使用DRM的API向GPU發送命令和數據并執行諸如配置顯示器模式設置之類的操作。

RK3588J典型應用領域

圖4

6路視頻采集案例演示

案例說明

本案例實現6路攝像頭的圖像采集，并對圖像進行縮放和拼接處理，最終通過HDMI顯示屏進行顯示。其中配置所有攝像頭以1920x1080@30fps分辨率采集畫面，并通過硬件協處理器縮放拼接畫面后以1920x1080@30fps分辨率輸出到HDMI顯示屏。

圖 5

根據攝像頭的數量，顯示的畫面布局如下：

圖 6

案例測試

請使用FFC軟排線將MIPI攝像頭模塊（TL13850）連接至評估板CAMERA1、CAMERA2接口；將MIPI攝像頭模塊（Camera Module v2）連接至評估板CAMERA3~CAMERA6接口，然后將評估板HDMI OUT接口連接至HDMI顯示屏。

表 3

圖 7

請將案例bin目錄下的multi_camera_display可執行程序拷貝至評估板文件系統任意目錄下，進入可執行程序所在目錄，執行如下命令采集視頻，并輸出至顯示設備。命令參數"-o 208:71:1920x1080"表示將終端輸出至HDMI顯示器，打印信息"usec"表示耗時，單位為us，"fps"表示幀率。按"Ctrl + C"可停止運行。

Target# ./multi_camera_display -M rockchip -i 84,66,75,93,102,111 -S 1920x1080 -f NV12 -F NV12 -b 4 -o 208:71:1920x1080

圖 8

圖 9

使用攝像頭采集PC機顯示屏的在線秒表圖像，經過ARM處理后再將圖像進行顯示。PC機顯示畫面與評估板顯示畫面的時間差，即為時延。進行單路視頻采集和6路視頻采集時延測試，得到的時延結果如下表所示。

表 4

圖 10 單路視頻采集時延測試界面

圖 11 6路視頻采集時延測試界面

更多RK3588J全國產工業核心板產品資料可長按二維碼識別下載

如需選購瑞芯微RK3588J工業核心板，歡迎登錄創龍科技天貓旗艦店：tronlong.tmall.com
瑞芯微RK3588J技術交流群：567208221，歡迎加入！