這篇寫給要在 TXW81x 上做攝像頭產品的軟件工程師:換一顆新的 DVP 攝像頭、調分辨率和畫質、接 USB 攝像頭、把圖片拿出來存卡或發出去,這些都繞不開 SDK 裡的視頻鏈路和數據流框架。讀完你應該知道改哪個宏、加哪個表、調哪個接口,以及串口裡那些奇怪的打印是什麼意思。
技術細節以泰芯官方《TXW81x 視頻方案開發指南》為準。
如果只是想先用開發板看到畫面,請看《攝像頭開發板快速上手:四步用手機看實時畫面(GoSky APP)》或《TXW 開發板 RTSP 實時預覽教程:用電腦拉流查看攝像頭畫面》,本文不再重複。
TXW81x 的視頻由幾個硬件模塊串起來,各模塊只要自己使能,下遊模塊改一下「輸入源」就能取到數據:
DVP 攝像頭 → VPP(buf0 / buf1) ─┬→ MJPEG0 / MJPEG1 → 應用(存卡、圖傳)
├→ SCALE1(伸縮)→ MJPEG
└→ SCALE3(伸縮)→ LCD
SPI 攝像頭 → PRC(數據重排)→ MJPEG
USB 攝像頭(UVC)→ 直接輸出 MJPEG
| 模塊 | 作用 |
|---|---|
| VPP | DVP 的下層采集模塊,只接收 YUV422 和 RAW,且只有 YUV422 能進 MJPEG;帶水印、相框、移動偵測、拍照模式 |
| PRC | 把 SPI 攝像頭的 yuyv 數據重排成 yyyyuuvv,交給 MJPEG 壓縮 |
| MJPEG0 / MJPEG1 | 兩路 JPEG 編碼;MJPEG1 還能解碼,解碼結果經 SCALE2 伸縮後用於推屏 |
| SCALE1 / 2 / 3 | 分別負責:進 MJPEG 前伸縮、解碼後伸縮、推屏前伸縮 |
和 TXW80x 不同:TXW81x 去掉了 DVP 輸入裁剪和 RGB 到 JPEG 的通路,Sensor 要輸出 YUV422;縮放功能挪到了 SCALE1。
以下宏都基於 SDK 自帶的圖傳協議:
| 宏 | 作用 |
|---|---|
DVP_EN |
啟用 DVP 攝像頭 |
USB_EN |
啟用 USB 攝像頭(示例配置中 USB_HOST_EN 也為 1) |
VPP_EN |
DVP 的下層接口模塊,示例中直接等於 DVP_EN
|
PRC_EN |
PRC 功能,SPI 攝像頭或固定 YUV 圖像進 JPEG 時需要 |
JPG_EN |
啟用 JPEG,兩路都能用 |
LCD_EN |
啟用 LCD 控制器 |
SCALE_EN |
打開 SCALE1/2/3 |
SDH_EN、FS_EN
|
SD 卡與文件系統初始化,拍照錄像存卡需要 |
NEW_FRAME |
數據流處理功能,默認打開 |
OPENDML_EN |
錄像時打開,只支持 SDK 自帶的錄像格式 |
VCAM_EN |
攝像頭 IO 電源,示例配置中跟隨 DVP_EN 打開 |
攝像頭和分辨率相關的宏:
| 宏 | 作用 |
|---|---|
IMAGE_W / IMAGE_H
|
采集分辨率,VGA 攝像頭配 VGA,720P 攝像頭配 720P |
CMOS_AUTO_LOAD |
設為 1 時自動識別所有已支持的攝像頭 |
DEV_SENSOR_xxx |
只支持某一款時單獨打開,如 #define DEV_SENSOR_GC0308 1
|
JPG0_* / JPG1_*
|
兩路 MJPEG 的緩存配置,見第四節 |
UVC_* |
USB 攝像頭緩存配置,見第五節 |
已支持的型號和開關宏在 csi.h 裡。官方文檔示例中的列表如下(以你手上 SDK 為準):
跟隨 CMOS_AUTO_LOAD 自動識別 |
默認關閉、需單獨打開 |
|---|---|
| OV7725、OV7670、GC0308、GC0309、GC0328、BF3A03、BF3703、BF2013 | OV2640、XC7016_H63、XC7011_H63、XC7011_GC1054、XCG532、GC2145 |
關於 720P:Sensor 本身帶 ISP、能直接輸出處理好的 YUV,可以直接接主控;不帶 ISP 的需要外接 ISP 芯片,目前適配了 XC7016 和 XC7011。兩種情況都把 IMAGE_W / IMAGE_H 配成 720P。官方特別提醒 720P 攝像頭的供電要格外注意,硬件上要提前規劃好給攝像頭供電的 VCAM/VCC18,詳見《TXW81x 硬件設計要點:電源、晶振、射頻、攝像頭與 PCB 布局檢查清單》。
SDK 驅動一顆 DVP 攝像頭的順序是:先給 MCLK → 讀 ID 確認型號 → 通過 I2C 寫初始化表 → 重新配置 MCLK 開始出圖。新增攝像頭就是把這幾步需要的信息填進去:
sensor_xxx.c 新建一個配置文件。_Sensor_Ident:I2C 讀寫命令、命令和數據的長度、ID 寄存器地址和 ID 值。sensorCheckId 就是拿這些信息判斷插上的是不是這顆攝像頭。_Sensor_Adpt_:| 字段 | 含義 |
|---|---|
pixelw / pixelh
|
這份配置輸出的分辨率 |
hsyn / vsyn
|
HSYNC、VSYNC 是高電平有效還是低電平有效 |
mclk |
識別到這顆攝像頭後給它的 MCLK 頻率 |
init |
初始化寄存器表,默認輸出 YUYV |
csi.h 裡加聲明,並在 devSensorInitTable 和 devSensorOPTable 裡加上這顆攝像頭。IMAGE_W / IMAGE_H 與 pixelw / pixelh 一致。最常見的出錯點:配置表分辨率和IMAGE_W/IMAGE_H不一致,或者初始化表裡設置的同步極性和_Sensor_Adpt_裡的hsyn/vsyn對不上,都會導致采集出錯。
需要在運行時直接調 DVP/VPP 參數時,常用接口有:
| 接口 | 用途 |
|---|---|
dvp_set_baudrate |
波特率 |
vpp_set_video_size |
采集尺寸 |
dvp_set_hsync_polarity / dvp_set_vsync_polarity
|
行、場同步有效電平 |
dvp_set_format / vpp_set_ycbcr
|
輸入格式、YUV 數據順序 |
vpp_set_buf0/1_count |
linebuf 行數,可配 16~32 行,夠用就少配省內存 |
vpp_set_buf1_shrink |
buf1 縮小為 1/2 或 1/3 |
水印(vpp_set_watermark0_*)、相框(vpp_set_ifp_*)、移動偵測(vpp_set_motion_*)也在 VPP 上,接口名見官方《視頻-攝像頭 API》。
| 打印 | 含義與處理 |
|---|---|
sip reset DVP |
DVP 采集出錯:檢查攝像頭是否插好、配置表分辨率與 IMAGE_W/H 是否一致、同步極性是否配對 |
fh / fv
|
處理跟不上采集:fh 是上次的 buf 已被改寫一半,fv 是已被整個改寫;降低 DVP 時鐘,或減少 DVP 中斷裡的工作 |
jpg done len err |
CPU 來不及處理(壓縮率低、圖太大)或節點不夠:提高代碼運行效率、降低畫質、增大節點或加節點數量 |
? |
JPEG 異常,代碼會複位 DVP 和 JPEG;持續出現時檢查圖片空間是否裝不下整張圖 |
每路 MJPEG 的緩存總大小 = JPG_NODE × (JPG_BUF_LEN + JPG_TAIL_RESERVER),在 jpg_room_init 裡一次性申請;定義了 PSRAM_HEAP 時從 PSRAM 申請,否則從 SRAM 申請。官方文檔示例中 JPG0_BUF_LEN 為 8192、JPG0_NODE 為 80,JPG1_BUF_LEN 為 1308、JPG1_NODE 為 40。
| 參數 | 怎麼取舍 |
|---|---|
JPG_BUF_LEN |
單個節點大小,決定中斷頻率。不能太小,內存允許就往大調,一張圖中斷次數越少,效率越高、出錯越少 |
JPG_NODE |
節點數量。節點用完時,正在編碼的這張圖會因內存不足被丟掉 |
JPG_HEAD_RESERVER / JPG_TAIL_RESERVER
|
頭尾自定義保留區,不需要就設 0(官方 SDK 默認 0) |
MJPEG 的輸入源用 jpg_cfg 指定,可選 VPP_DATA0、VPP_DATA1、PRC_DATA、SCALER_DATA、SOFT_DATA;編碼尺寸用 jpg_set_size 設置。
jpg_quality_tidy 會根據當前圖片大小決定畫質往哪個方向調,相當於給圖片大小設了一個期望範圍,但不是硬性保證:比如想把 720P 壓到 20K 以內就做不到。quality_tab 提供 6 張量化表,可以自行修改;每張表還能做 16 級微調,8 表示不變,1~7 畫質往上調,9~F 畫質往下調。對應接口是 jpg_set_qt(微調)和 jpg_updata_dqt(改量化表)。| 需求 | 做法 |
|---|---|
| 縮小(如出 QVGA) | 優先用 VPP 的 buf1 縮小 1/2 或 1/3。大比例縮小用 SCALE1 需要更多 linebuf,不劃算 |
| 放大到 2K 以內 |
scale_from_vpp_to_jpg,同時把 photo_msg.out0_w/out0_h 改成目標尺寸,並把 JPEG 輸入源改成 SCALER_DATA
|
| 放大超過 2K | 打開 VPP 拍照模式,圖像以 YUV420 存進 PSRAM,再用 scale_from_soft_to_jpg 拉伸,最大到 8K |
SCALE1 縮小倍數過大時會因 linebuf 不夠報錯,這時改用 VPP buf1。
SPI 攝像頭的配置表和流程與 DVP 類似,區別是:沒有 MCLK 引腳,用 PWM 充當時鐘;主控作 SPI 從機,要求攝像頭只在有數據時才輸出 spi_clk;帧/行同步靠檢測時鐘停頓實現,CS 和 VSYNC 可以不接;數據用乒乓 buf 接收,配置都通過 ioctl 完成(見 spi_sensor.c),注意 SPI_WIRE_SINGLE_MODE 要和攝像頭輸出方式一致,否則圖像錯位。啟動 MJPEG 時要保證 PRC 正處於帧間隔,否則會錯行。
UVC 攝像頭枚舉後通過 set interface 開關數據流,數據走同步傳輸,攝像頭直接輸出 MJPEG。
| 宏 | 含義 | 默認 |
|---|---|---|
UVC_BLANK_LEN |
單個節點大小,不宜過小 | 12×1024 字節 |
UVC_BLANK_NUM |
節點數量 | 示例中有 PSRAM(UVC_PSRAM 為 1)時 3,否則 7 |
UVC_FRAME_NUM |
圖片帧數 | 2 |
沒有 PSRAM 時,UVC_BLANK_NUM × UVC_BLANK_LEN 至少要能裝下 1.5 張圖,否則圖片會被丟棄。有 PSRAM 時節點數可以少一些,圖片最終都存到 PSRAM。
uvc_default_dpi 的返回值,可選 UVC_VGA 和 UVC_720P。usb_host_uvc_ioctl(dev, USB_HOST_IO_CMD_SET_IDX, ...)。USB_HOST_IO_CMD_INSERT_HUB。取一帧圖片的寫法(宏定義在 jpgdef.h):
void *f = GET_JPG_FRAME();
if (f) {
int node_len = GET_NODE_LEN(f); // 每個節點長度相同
int remain = GET_JPG_LEN(f); // 整張圖大小
while (remain) {
uint8 *buf = GET_JPG_buf(f); // 當前首節點
int n = remain >= node_len ? node_len : remain; // 最後一個節點按剩餘長度算
/* 在這裡處理 buf 中的 n 字節 */
FREE_JPG_NODE(f);
remain -= n;
}
DEL_JPG_FRAME(f); // 必須調用,否則節點不歸還,後面取不到帧
}
| 打印 | 含義 |
|---|---|
babble error |
信號線接觸不良,系統會重置 USB;持續出現就查 USB 線 |
disconnect...... |
設備掉線(接觸不良或被拔出),系統會重置 USB |
XXX Err / Enum ERR
|
枚舉失敗,系統會重置 USB |
uvc can not set resolution :720p |
攝像頭不支持 720P,自動改為 VGA |
_D3_ |
攝像頭 UVC 圖像出錯,頻繁出現請檢查攝像頭 |
_D1_ / _D2_
|
緩存不足。無 PSRAM 方案持續出現,檢查圖片是否超過默認的 7×12K;偶發但頻繁,說明 CPU 處理不過來 |
SDK 用 stream_frame 統一管理音視頻數據:產生數據的一方是「發送流」,使用數據的一方是「接收流」,兩者通過名字綁定,任何任務都能按名字拿到想要的數據。
| 接口 | 誰用 | 說明 |
|---|---|---|
open_stream_available(name, data_count, recv_count, func, priv) |
雙方 | 創建流。name 唯一;data_count 是發送方節點數(決定能緩沖多少帧);recv_count 是接收緩沖節點數,滿了之後新數據就收不到 |
close_stream(s) |
雙方 | 與 open 成對使用,所有 open 都關了才會真正關閉 |
enable_stream(s, enable) |
接收方 | 使能接收 |
get_src_data_f(s) |
發送方 | 取一個空閑節點準備填數據 |
set_stream_real_data_len / set_stream_data_time
|
發送方 | 每次發送前設置長度和時間戳 |
send_data_to_stream(data) |
發送方 | 發給所有已綁定且使能的流 |
force_del_data(data) |
發送方 | 取到的節點不用了必須用它刪掉,否則節點丟失 |
recv_real_data(s) |
接收方 | 收一個數據 |
get_stream_real_data / get_stream_real_data_len
|
接收方 | 取內容和長度;音頻直接是 PCM buf,JPEG 是節點鏈表需要特殊解析 |
free_data(data) |
接收方 | 用完釋放 |
func 回調用來響應流事件,常用的有:
| 事件 | 時機 |
|---|---|
STREAM_OPEN_EXIT |
首次 open 成功後,適合綁定流、打開 JPEG 硬件、創建任務 |
STREAM_DATA_DIS / STREAM_DATA_DESTORY
|
為節點分配內存 / 關閉後回收內存,兩者對應 |
STREAM_DATA_FREE |
所有接收方都用完某個節點時,釋放該節點占用的空間 |
STREAM_SEND_DATA_FINISH |
send_data_to_stream 發送完成 |
STREAM_CLOSE_EXIT |
close 結束;流實際要再過 5~10ms 才回收,此後不要再使用 |
更多事件定義在 stream_frame.h,按需響應即可,一般發送流要處理的事件比接收流多。
video_app.c):open_stream_available → 循環執行「get_src_data_f 取節點 → 填數據 → 設時間戳和長度 → send_data_to_stream」→ 不再產生數據時 close_stream。open_stream_available → 循環執行「recv_real_data → 解析數據 → 使用 → free_data」→ 結束時 close_stream。想一帧不丟,接收方要同時滿足兩點:內存和節點足夠,並且處理、釋放得足夠快。另外建議在同一個任務或同一個事件裡成對調用 open 和 close。
SDK 已經在 video_app.c 裡把大部分硬件配好,拍照參考 AT_save_photo.c,錄像參考 AT_save_avi.c。用默認配置時,按下面的流程就能拿到圖片:
stream *s = open_stream_available(R_AT_SAVE_PHOTO, 0, 8, opcode_func, NULL); // 建接收流
start_jpeg(); // 內部創建 JPEG 發送流並綁定 R_AT_SAVE_PHOTO
struct data_structure *get_f = recv_real_data(s);
void *fp = osal_fopen(filename, "wb+");
struct stream_jpeg_data_s *list = get_stream_real_data(get_f); // 節點鏈表
uint32_t remain = get_stream_real_data_len(get_f); // 圖片總長
uint32_t node_len = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_LEN, NULL);
/* 遍曆鏈表中的每個節點 el:
* buf = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_BUF, el->data);
* 按 min(remain, node_len) 寫卡:osal_fwrite(buf, 1, n, fp); remain -= n;
* 寫完立刻 stream_data_custom_cmd_func(get_f, CUSTOM_DEL_NODE, el) 釋放節點
* 遍曆寫法以 AT_save_photo.c 為準 */
free_data(get_f); // 整帧用完釋放
osal_fclose(fp);
幾點提示:
SDH_EN、FS_EN 已打開;錄像還需要 OPENDML_EN,它只支持 SDK 自帶的錄像格式,其他格式需要自己實現。
強強強,實在太強了!!!!!!!!!!!!!!