TXW81x DVP 攝像頭適配與視頻開發:配置宏、Sensor 移植、拍照錄像

發布於 2026-11-08 22:02:50

這篇寫給要在 TXW81x 上做攝像頭產品的軟件工程師:換一顆新的 DVP 攝像頭、調分辨率和畫質、接 USB 攝像頭、把圖片拿出來存卡或發出去,這些都繞不開 SDK 裡的視頻鏈路和數據流框架。讀完你應該知道改哪個宏、加哪個表、調哪個接口,以及串口裡那些奇怪的打印是什麼意思。

技術細節以泰芯官方《TXW81x 視頻方案開發指南》為準。

如果只是想先用開發板看到畫面,請看《攝像頭開發板快速上手:四步用手機看實時畫面(GoSky APP)》或《TXW 開發板 RTSP 實時預覽教程:用電腦拉流查看攝像頭畫面》,本文不再重複。

一、先看懂視頻鏈路

TXW81x 的視頻由幾個硬件模塊串起來,各模塊只要自己使能,下遊模塊改一下「輸入源」就能取到數據:

DVP 攝像頭 → VPP(buf0 / buf1) ─┬→ MJPEG0 / MJPEG1 → 應用(存卡、圖傳)
                               ├→ SCALE1(伸縮)→ MJPEG
                               └→ SCALE3(伸縮)→ LCD
SPI 攝像頭 → PRC(數據重排)→ MJPEG
USB 攝像頭(UVC)→ 直接輸出 MJPEG
模塊 作用
VPP DVP 的下層采集模塊,只接收 YUV422 和 RAW,且只有 YUV422 能進 MJPEG;帶水印、相框、移動偵測、拍照模式
PRC 把 SPI 攝像頭的 yuyv 數據重排成 yyyyuuvv,交給 MJPEG 壓縮
MJPEG0 / MJPEG1 兩路 JPEG 編碼;MJPEG1 還能解碼,解碼結果經 SCALE2 伸縮後用於推屏
SCALE1 / 2 / 3 分別負責:進 MJPEG 前伸縮、解碼後伸縮、推屏前伸縮
和 TXW80x 不同:TXW81x 去掉了 DVP 輸入裁剪和 RGB 到 JPEG 的通路,Sensor 要輸出 YUV422;縮放功能挪到了 SCALE1。

二、project_config.h 裡的視頻宏

以下宏都基於 SDK 自帶的圖傳協議:

宏 作用
DVP_EN 啟用 DVP 攝像頭
USB_EN 啟用 USB 攝像頭(示例配置中 USB_HOST_EN 也為 1)
VPP_EN DVP 的下層接口模塊,示例中直接等於 DVP_EN
PRC_EN PRC 功能,SPI 攝像頭或固定 YUV 圖像進 JPEG 時需要
JPG_EN 啟用 JPEG,兩路都能用
LCD_EN 啟用 LCD 控制器
SCALE_EN 打開 SCALE1/2/3
SDH_EN、FS_EN SD 卡與文件系統初始化,拍照錄像存卡需要
NEW_FRAME 數據流處理功能,默認打開
OPENDML_EN 錄像時打開,只支持 SDK 自帶的錄像格式
VCAM_EN 攝像頭 IO 電源,示例配置中跟隨 DVP_EN 打開

攝像頭和分辨率相關的宏:

宏 作用
IMAGE_W / IMAGE_H 采集分辨率,VGA 攝像頭配 VGA,720P 攝像頭配 720P
CMOS_AUTO_LOAD 設為 1 時自動識別所有已支持的攝像頭
DEV_SENSOR_xxx 只支持某一款時單獨打開,如 #define DEV_SENSOR_GC0308 1
JPG0_* / JPG1_* 兩路 MJPEG 的緩存配置,見第四節
UVC_* USB 攝像頭緩存配置,見第五節

三、換一顆新的 DVP 攝像頭

1. 先確認是不是已經支持

已支持的型號和開關宏在 csi.h 裡。官方文檔示例中的列表如下(以你手上 SDK 為準):

跟隨 CMOS_AUTO_LOAD 自動識別 默認關閉、需單獨打開
OV7725、OV7670、GC0308、GC0309、GC0328、BF3A03、BF3703、BF2013 OV2640、XC7016_H63、XC7011_H63、XC7011_GC1054、XCG532、GC2145

關於 720P:Sensor 本身帶 ISP、能直接輸出處理好的 YUV,可以直接接主控;不帶 ISP 的需要外接 ISP 芯片,目前適配了 XC7016 和 XC7011。兩種情況都把 IMAGE_W / IMAGE_H 配成 720P。官方特別提醒 720P 攝像頭的供電要格外注意,硬件上要提前規劃好給攝像頭供電的 VCAM/VCC18,詳見《TXW81x 硬件設計要點:電源、晶振、射頻、攝像頭與 PCB 布局檢查清單》。

2. 適配步驟

SDK 驅動一顆 DVP 攝像頭的順序是:先給 MCLK → 讀 ID 確認型號 → 通過 I2C 寫初始化表 → 重新配置 MCLK 開始出圖。新增攝像頭就是把這幾步需要的信息填進去:

  1. 複制模板:參照已有的 sensor_xxx.c 新建一個配置文件。
  2. 填識別信息 _Sensor_Ident:I2C 讀寫命令、命令和數據的長度、ID 寄存器地址和 ID 值。sensorCheckId 就是拿這些信息判斷插上的是不是這顆攝像頭。
  3. 填適配信息 _Sensor_Adpt_:
字段 含義
pixelw / pixelh 這份配置輸出的分辨率
hsyn / vsyn HSYNC、VSYNC 是高電平有效還是低電平有效
mclk 識別到這顆攝像頭後給它的 MCLK 頻率
init 初始化寄存器表,默認輸出 YUYV
  1. 注冊:在 csi.h 裡加聲明,並在 devSensorInitTable 和 devSensorOPTable 裡加上這顆攝像頭。
  2. 對齊分辨率:確認 IMAGE_W / IMAGE_H 與 pixelw / pixelh 一致。
最常見的出錯點:配置表分辨率和 IMAGE_W/IMAGE_H 不一致,或者初始化表裡設置的同步極性和 _Sensor_Adpt_ 裡的 hsyn/vsyn 對不上,都會導致采集出錯。

需要在運行時直接調 DVP/VPP 參數時,常用接口有:

接口 用途
dvp_set_baudrate 波特率
vpp_set_video_size 采集尺寸
dvp_set_hsync_polarity / dvp_set_vsync_polarity 行、場同步有效電平
dvp_set_format / vpp_set_ycbcr 輸入格式、YUV 數據順序
vpp_set_buf0/1_count linebuf 行數,可配 16~32 行,夠用就少配省內存
vpp_set_buf1_shrink buf1 縮小為 1/2 或 1/3

水印(vpp_set_watermark0_*)、相框(vpp_set_ifp_*)、移動偵測(vpp_set_motion_*)也在 VPP 上,接口名見官方《視頻-攝像頭 API》。

3. 看打印定位問題

打印 含義與處理
sip reset DVP DVP 采集出錯:檢查攝像頭是否插好、配置表分辨率與 IMAGE_W/H 是否一致、同步極性是否配對
fh / fv 處理跟不上采集:fh 是上次的 buf 已被改寫一半,fv 是已被整個改寫;降低 DVP 時鐘,或減少 DVP 中斷裡的工作
jpg done len err CPU 來不及處理(壓縮率低、圖太大)或節點不夠:提高代碼運行效率、降低畫質、增大節點或加節點數量
? JPEG 異常,代碼會複位 DVP 和 JPEG;持續出現時檢查圖片空間是否裝不下整張圖

四、分辨率與 MJPEG 配置

1. 緩存怎麼配

每路 MJPEG 的緩存總大小 = JPG_NODE × (JPG_BUF_LEN + JPG_TAIL_RESERVER),在 jpg_room_init 裡一次性申請;定義了 PSRAM_HEAP 時從 PSRAM 申請,否則從 SRAM 申請。官方文檔示例中 JPG0_BUF_LEN 為 8192、JPG0_NODE 為 80,JPG1_BUF_LEN 為 1308、JPG1_NODE 為 40。

參數 怎麼取舍
JPG_BUF_LEN 單個節點大小,決定中斷頻率。不能太小,內存允許就往大調,一張圖中斷次數越少,效率越高、出錯越少
JPG_NODE 節點數量。節點用完時,正在編碼的這張圖會因內存不足被丟掉
JPG_HEAD_RESERVER / JPG_TAIL_RESERVER 頭尾自定義保留區,不需要就設 0(官方 SDK 默認 0)

MJPEG 的輸入源用 jpg_cfg 指定,可選 VPP_DATA0、VPP_DATA1、PRC_DATA、SCALER_DATA、SOFT_DATA;編碼尺寸用 jpg_set_size 設置。

2. 畫質與圖片大小

  • 中斷裡調用的 jpg_quality_tidy 會根據當前圖片大小決定畫質往哪個方向調,相當於給圖片大小設了一個期望範圍,但不是硬性保證:比如想把 720P 壓到 20K 以內就做不到。
  • 實際大小取決於量化表和微調值:quality_tab 提供 6 張量化表,可以自行修改;每張表還能做 16 級微調,8 表示不變,1~7 畫質往上調,9~F 畫質往下調。對應接口是 jpg_set_qt(微調)和 jpg_updata_dqt(改量化表)。

3. 縮小與放大

需求 做法
縮小(如出 QVGA) 優先用 VPP 的 buf1 縮小 1/2 或 1/3。大比例縮小用 SCALE1 需要更多 linebuf,不劃算
放大到 2K 以內 scale_from_vpp_to_jpg,同時把 photo_msg.out0_w/out0_h 改成目標尺寸,並把 JPEG 輸入源改成 SCALER_DATA
放大超過 2K 打開 VPP 拍照模式,圖像以 YUV420 存進 PSRAM,再用 scale_from_soft_to_jpg 拉伸,最大到 8K
SCALE1 縮小倍數過大時會因 linebuf 不夠報錯,這時改用 VPP buf1。

4. SPI 攝像頭簡述

SPI 攝像頭的配置表和流程與 DVP 類似,區別是:沒有 MCLK 引腳,用 PWM 充當時鐘;主控作 SPI 從機,要求攝像頭只在有數據時才輸出 spi_clk;帧/行同步靠檢測時鐘停頓實現,CS 和 VSYNC 可以不接;數據用乒乓 buf 接收,配置都通過 ioctl 完成(見 spi_sensor.c),注意 SPI_WIRE_SINGLE_MODE 要和攝像頭輸出方式一致,否則圖像錯位。啟動 MJPEG 時要保證 PRC 正處於帧間隔,否則會錯行。

五、USB 攝像頭(UVC)

UVC 攝像頭枚舉後通過 set interface 開關數據流,數據走同步傳輸,攝像頭直接輸出 MJPEG。

宏 含義 默認
UVC_BLANK_LEN 單個節點大小,不宜過小 12×1024 字節
UVC_BLANK_NUM 節點數量 示例中有 PSRAM(UVC_PSRAM 為 1)時 3,否則 7
UVC_FRAME_NUM 圖片帧數 2
沒有 PSRAM 時,UVC_BLANK_NUM × UVC_BLANK_LEN 至少要能裝下 1.5 張圖,否則圖片會被丟棄。有 PSRAM 時節點數可以少一些,圖片最終都存到 PSRAM。
  • 默認分辨率:改 uvc_default_dpi 的返回值,可選 UVC_VGA 和 UVC_720P。
  • 中途切換分辨率:通過 USB 的 ioctl,例如 usb_host_uvc_ioctl(dev, USB_HOST_IO_CMD_SET_IDX, ...)。
  • 接了 HUB:同樣用 ioctl,命令為 USB_HOST_IO_CMD_INSERT_HUB。

取一帧圖片的寫法(宏定義在 jpgdef.h):

void *f = GET_JPG_FRAME();
if (f) {
    int node_len = GET_NODE_LEN(f);   // 每個節點長度相同
    int remain   = GET_JPG_LEN(f);    // 整張圖大小
    while (remain) {
        uint8 *buf = GET_JPG_buf(f);  // 當前首節點
        int n = remain >= node_len ? node_len : remain;  // 最後一個節點按剩餘長度算
        /* 在這裡處理 buf 中的 n 字節 */
        FREE_JPG_NODE(f);
        remain -= n;
    }
    DEL_JPG_FRAME(f);   // 必須調用,否則節點不歸還,後面取不到帧
}
打印 含義
babble error 信號線接觸不良,系統會重置 USB;持續出現就查 USB 線
disconnect...... 設備掉線(接觸不良或被拔出),系統會重置 USB
XXX Err / Enum ERR 枚舉失敗,系統會重置 USB
uvc can not set resolution :720p 攝像頭不支持 720P,自動改為 VGA
_D3_ 攝像頭 UVC 圖像出錯,頻繁出現請檢查攝像頭
_D1_ / _D2_ 緩存不足。無 PSRAM 方案持續出現,檢查圖片是否超過默認的 7×12K;偶發但頻繁,說明 CPU 處理不過來

六、數據流框架 stream_frame

SDK 用 stream_frame 統一管理音視頻數據:產生數據的一方是「發送流」,使用數據的一方是「接收流」,兩者通過名字綁定,任何任務都能按名字拿到想要的數據。

1. 核心接口

接口 誰用 說明
open_stream_available(name, data_count, recv_count, func, priv) 雙方 創建流。name 唯一;data_count 是發送方節點數(決定能緩沖多少帧);recv_count 是接收緩沖節點數,滿了之後新數據就收不到
close_stream(s) 雙方 與 open 成對使用,所有 open 都關了才會真正關閉
enable_stream(s, enable) 接收方 使能接收
get_src_data_f(s) 發送方 取一個空閑節點準備填數據
set_stream_real_data_len / set_stream_data_time 發送方 每次發送前設置長度和時間戳
send_data_to_stream(data) 發送方 發給所有已綁定且使能的流
force_del_data(data) 發送方 取到的節點不用了必須用它刪掉,否則節點丟失
recv_real_data(s) 接收方 收一個數據
get_stream_real_data / get_stream_real_data_len 接收方 取內容和長度;音頻直接是 PCM buf,JPEG 是節點鏈表需要特殊解析
free_data(data) 接收方 用完釋放

func 回調用來響應流事件,常用的有:

事件 時機
STREAM_OPEN_EXIT 首次 open 成功後,適合綁定流、打開 JPEG 硬件、創建任務
STREAM_DATA_DIS / STREAM_DATA_DESTORY 為節點分配內存 / 關閉後回收內存,兩者對應
STREAM_DATA_FREE 所有接收方都用完某個節點時,釋放該節點占用的空間
STREAM_SEND_DATA_FINISH send_data_to_stream 發送完成
STREAM_CLOSE_EXIT close 結束;流實際要再過 5~10ms 才回收,此後不要再使用

更多事件定義在 stream_frame.h,按需響應即可,一般發送流要處理的事件比接收流多。

2. 收發流程

  • 發送方(參考 video_app.c):open_stream_available → 循環執行「get_src_data_f 取節點 → 填數據 → 設時間戳和長度 → send_data_to_stream」→ 不再產生數據時 close_stream。
  • 接收方:open_stream_available → 循環執行「recv_real_data → 解析數據 → 使用 → free_data」→ 結束時 close_stream。
想一帧不丟,接收方要同時滿足兩點:內存和節點足夠,並且處理、釋放得足夠快。另外建議在同一個任務或同一個事件裡成對調用 open 和 close。

七、拍照與錄像

SDK 已經在 video_app.c 裡把大部分硬件配好,拍照參考 AT_save_photo.c,錄像參考 AT_save_avi.c。用默認配置時,按下面的流程就能拿到圖片:

stream *s = open_stream_available(R_AT_SAVE_PHOTO, 0, 8, opcode_func, NULL); // 建接收流
start_jpeg();                        // 內部創建 JPEG 發送流並綁定 R_AT_SAVE_PHOTO
struct data_structure *get_f = recv_real_data(s);
void *fp = osal_fopen(filename, "wb+");

struct stream_jpeg_data_s *list = get_stream_real_data(get_f); // 節點鏈表
uint32_t remain   = get_stream_real_data_len(get_f);           // 圖片總長
uint32_t node_len = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_LEN, NULL);
/* 遍曆鏈表中的每個節點 el:
 *   buf = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_BUF, el->data);
 *   按 min(remain, node_len) 寫卡:osal_fwrite(buf, 1, n, fp); remain -= n;
 *   寫完立刻 stream_data_custom_cmd_func(get_f, CUSTOM_DEL_NODE, el) 釋放節點
 * 遍曆寫法以 AT_save_photo.c 為準 */
free_data(get_f);                    // 整帧用完釋放
osal_fclose(fp);

幾點提示:

  1. 存卡前確認 SDH_EN、FS_EN 已打開;錄像還需要 OPENDML_EN,它只支持 SDK 自帶的錄像格式,其他格式需要自己實現。
  2. 節點用完立即刪除,空間才能盡快回到節點池,否則編碼端會因節點不足丟帧。
  3. 拍超大照片(如 VGA 拉到 8K)用 VPP 拍照模式加 SCALE1,見第四節。
  4. 改完代碼單臺燒錄推薦用創芯蜂 HiveComm(下載,教程見《CKLink 驅動安裝與固件燒錄教程:用 HiveComm 一鍵燒錄》;CKLink 調試器可在創芯蜂淘寶店購買),燒不進去按《TXW 系列芯片固件燒錄(下載)教程:燒錄器接線、操作與失敗排查》排查。USB、Flash 等其他常見問題可查《TXW81x 開發常見問題匯總:Flash、編譯環境、燒錄、USB 與外設》。

參考資料

相關閱讀

開發中遇到問題,歡迎在社區提問,也可以先問 AI 助手。

1 條評論

AI
問答

發布
問題