TXW81x DVP 摄像头适配与视频开发: 配置宏, Sensor 移植, 拍照录像

发布于 2026-11-08 22: 02: 50

这篇写给要在 TXW81x 上做摄像头产品的软件工程师: 换一颗新的 DVP 摄像头, 调分辨率和画质, 接 USB 摄像头, 把图片拿出来存卡或发出去, 这些都绕不开 SDK 里的视频链路和数据流框架. 读完你应该知道改哪个宏, 加哪个表, 调哪个接口, 以及串口里那些奇怪的打印是什么意思.

技术细节以泰芯官方 "TXW81x 视频方案开发指南" 为准.

如果只是想先用开发板看到画面, 请看 "摄像头开发板快速上手: 四步用手机看实时画面 (GoSky APP) " 或 "TXW 开发板 RTSP 实时预览教程: 用电脑拉流查看摄像头画面" , 本文不再重复.

一, 先看懂视频链路

TXW81x 的视频由几个硬件模块串起来, 各模块只要自己使能, 下游模块改一下「输入源」就能取到数据:

DVP 摄像头 → VPP (buf0 / buf1)  ─┬→ MJPEG0 / MJPEG1 → 应用  (存卡, 图传)  
                               ├→ SCALE1  (伸缩)  → MJPEG
                               └→ SCALE3  (伸缩)  → LCD
SPI 摄像头 → PRC  (数据重排)  → MJPEG
USB 摄像头  (UVC)  → 直接输出 MJPEG
模块 作用
VPP DVP 的下层采集模块, 只接收 YUV422 和 RAW, 且只有 YUV422 能进 MJPEG; 带水印, 相框, 移动侦测, 拍照模式
PRC 把 SPI 摄像头的 yuyv 数据重排成 yyyyuuvv, 交给 MJPEG 压缩
MJPEG0 / MJPEG1 两路 JPEG 编码; MJPEG1 还能解码, 解码结果经 SCALE2 伸缩后用于推屏
SCALE1 / 2 / 3 分别负责: 进 MJPEG 前伸缩, 解码后伸缩, 推屏前伸缩
和 TXW80x 不同: TXW81x 去掉了 DVP 输入裁剪和 RGB 到 JPEG 的通路, Sensor 要输出 YUV422; 缩放功能挪到了 SCALE1.

二, project_config. h 里的视频宏

以下宏都基于 SDK 自带的图传协议:

宏 作用
DVP_EN 启用 DVP 摄像头
USB_EN 启用 USB 摄像头 (示例配置中 USB_HOST_EN 也为 1)
VPP_EN DVP 的下层接口模块, 示例中直接等于 DVP_EN
PRC_EN PRC 功能, SPI 摄像头或固定 YUV 图像进 JPEG 时需要
JPG_EN 启用 JPEG, 两路都能用
LCD_EN 启用 LCD 控制器
SCALE_EN 打开 SCALE1/2/3
SDH_EN, FS_EN SD 卡与文件系统初始化, 拍照录像存卡需要
NEW_FRAME 数据流处理功能, 默认打开
OPENDML_EN 录像时打开, 只支持 SDK 自带的录像格式
VCAM_EN 摄像头 IO 电源, 示例配置中跟随 DVP_EN 打开

摄像头和分辨率相关的宏:

宏 作用
IMAGE_W / IMAGE_H 采集分辨率, VGA 摄像头配 VGA, 720P 摄像头配 720P
CMOS_AUTO_LOAD 设为 1 时自动识别所有已支持的摄像头
DEV_SENSOR_xxx 只支持某一款时单独打开, 如 #define DEV_SENSOR_GC0308 1
JPG0_* / JPG1_* 两路 MJPEG 的缓存配置, 见第四节
UVC_* USB 摄像头缓存配置, 见第五节

三, 换一颗新的 DVP 摄像头

1. 先确认是不是已经支持

已支持的型号和开关宏在 csi. h 里. 官方文档示例中的列表如下 (以你手上 SDK 为准) :

跟随 CMOS_AUTO_LOAD 自动识别 默认关闭, 需单独打开
OV7725, OV7670, GC0308, GC0309, GC0328, BF3A03, BF3703, BF2013 OV2640, XC7016_H63, XC7011_H63, XC7011_GC1054, XCG532, GC2145

关于 720P: Sensor 本身带 ISP, 能直接输出处理好的 YUV, 可以直接接主控; 不带 ISP 的需要外接 ISP 芯片, 目前适配了 XC7016 和 XC7011. 两种情况都把 IMAGE_W / IMAGE_H 配成 720P. 官方特别提醒 720P 摄像头的供电要格外注意, 硬件上要提前规划好给摄像头供电的 VCAM/VCC18, 详见 "TXW81x 硬件设计要点: 电源, 晶振, 射频, 摄像头与 PCB 布局检查清单" .

2. 适配步骤

SDK 驱动一颗 DVP 摄像头的顺序是: 先给 MCLK → 读 ID 确认型号 → 通过 I2C 写初始化表 → 重新配置 MCLK 开始出图. 新增摄像头就是把这几步需要的信息填进去:

  1. 复制模板: 参照已有的 sensor_xxx. c 新建一个配置文件.
  2. 填识别信息 _Sensor_Ident: I2C 读写命令, 命令和数据的长度, ID 寄存器地址和 ID 值. sensorCheckId 就是拿这些信息判断插上的是不是这颗摄像头.
  3. 填适配信息 _Sensor_Adpt_:
字段 含义
pixelw / pixelh 这份配置输出的分辨率
hsyn / vsyn HSYNC, VSYNC 是高电平有效还是低电平有效
mclk 识别到这颗摄像头后给它的 MCLK 频率
init 初始化寄存器表, 默认输出 YUYV
  1. 注册: 在 csi. h 里加声明, 并在 devSensorInitTable 和 devSensorOPTable 里加上这颗摄像头.
  2. 对齐分辨率: 确认 IMAGE_W / IMAGE_H 与 pixelw / pixelh 一致.
最常见的出错点: 配置表分辨率和 IMAGE_W/IMAGE_H 不一致, 或者初始化表里设置的同步极性和 _Sensor_Adpt_ 里的 hsyn/vsyn 对不上, 都会导致采集出错.

需要在运行时直接调 DVP/VPP 参数时, 常用接口有:

接口 用途
dvp_set_baudrate 波特率
vpp_set_video_size 采集尺寸
dvp_set_hsync_polarity / dvp_set_vsync_polarity 行, 场同步有效电平
dvp_set_format / vpp_set_ycbcr 输入格式, YUV 数据顺序
vpp_set_buf0/1_count linebuf 行数, 可配 16~32 行, 够用就少配省内存
vpp_set_buf1_shrink buf1 缩小为 1/2 或 1/3

水印 (vpp_set_watermark0_*) , 相框 (vpp_set_ifp_*) , 移动侦测 (vpp_set_motion_*) 也在 VPP 上, 接口名见官方 "视频-摄像头 API" .

3. 看打印定位问题

打印 含义与处理
sip reset DVP DVP 采集出错: 检查摄像头是否插好, 配置表分辨率与 IMAGE_W/H 是否一致, 同步极性是否配对
fh / fv 处理跟不上采集: fh 是上次的 buf 已被改写一半, fv 是已被整个改写; 降低 DVP 时钟, 或减少 DVP 中断里的工作
jpg done len err CPU 来不及处理 (压缩率低, 图太大) 或节点不够: 提高代码运行效率, 降低画质, 增大节点或加节点数量
? JPEG 异常, 代码会复位 DVP 和 JPEG; 持续出现时检查图片空间是否装不下整张图

四, 分辨率与 MJPEG 配置

1. 缓存怎么配

每路 MJPEG 的缓存总大小 = JPG_NODE × (JPG_BUF_LEN + JPG_TAIL_RESERVER) , 在 jpg_room_init 里一次性申请; 定义了 PSRAM_HEAP 时从 PSRAM 申请, 否则从 SRAM 申请. 官方文档示例中 JPG0_BUF_LEN 为 8192, JPG0_NODE 为 80, JPG1_BUF_LEN 为 1308, JPG1_NODE 为 40.

参数 怎么取舍
JPG_BUF_LEN 单个节点大小, 决定中断频率. 不能太小, 内存允许就往大调, 一张图中断次数越少, 效率越高, 出错越少
JPG_NODE 节点数量. 节点用完时, 正在编码的这张图会因内存不足被丢掉
JPG_HEAD_RESERVER / JPG_TAIL_RESERVER 头尾自定义保留区, 不需要就设 0 (官方 SDK 默认 0)

MJPEG 的输入源用 jpg_cfg 指定, 可选 VPP_DATA0, VPP_DATA1, PRC_DATA, SCALER_DATA, SOFT_DATA; 编码尺寸用 jpg_set_size 设置.

2. 画质与图片大小

  • 中断里调用的 jpg_quality_tidy 会根据当前图片大小决定画质往哪个方向调, 相当于给图片大小设了一个期望范围, 但不是硬性保证: 比如想把 720P 压到 20K 以内就做不到.
  • 实际大小取决于量化表和微调值: quality_tab 提供 6 张量化表, 可以自行修改; 每张表还能做 16 级微调, 8 表示不变, 1~7 画质往上调, 9~F 画质往下调. 对应接口是 jpg_set_qt (微调) 和 jpg_updata_dqt (改量化表) .

3. 缩小与放大

需求 做法
缩小 (如出 QVGA) 优先用 VPP 的 buf1 缩小 1/2 或 1/3. 大比例缩小用 SCALE1 需要更多 linebuf, 不划算
放大到 2K 以内 scale_from_vpp_to_jpg, 同时把 photo_msg. out0_w/out0_h 改成目标尺寸, 并把 JPEG 输入源改成 SCALER_DATA
放大超过 2K 打开 VPP 拍照模式, 图像以 YUV420 存进 PSRAM, 再用 scale_from_soft_to_jpg 拉伸, 最大到 8K
SCALE1 缩小倍数过大时会因 linebuf 不够报错, 这时改用 VPP buf1.

4. SPI 摄像头简述

SPI 摄像头的配置表和流程与 DVP 类似, 区别是: 没有 MCLK 引脚, 用 PWM 充当时钟; 主控作 SPI 从机, 要求摄像头只在有数据时才输出 spi_clk; 帧/行同步靠检测时钟停顿实现, CS 和 VSYNC 可以不接; 数据用乒乓 buf 接收, 配置都通过 ioctl 完成 (见 spi_sensor. c) , 注意 SPI_WIRE_SINGLE_MODE 要和摄像头输出方式一致, 否则图像错位. 启动 MJPEG 时要保证 PRC 正处于帧间隔, 否则会错行.

五, USB 摄像头 (UVC)

UVC 摄像头枚举后通过 set interface 开关数据流, 数据走同步传输, 摄像头直接输出 MJPEG.

宏 含义 默认
UVC_BLANK_LEN 单个节点大小, 不宜过小 12×1024 字节
UVC_BLANK_NUM 节点数量 示例中有 PSRAM (UVC_PSRAM 为 1) 时 3, 否则 7
UVC_FRAME_NUM 图片帧数 2
没有 PSRAM 时, UVC_BLANK_NUM × UVC_BLANK_LEN 至少要能装下 1. 5 张图, 否则图片会被丢弃. 有 PSRAM 时节点数可以少一些, 图片最终都存到 PSRAM.
  • 默认分辨率: 改 uvc_default_dpi 的返回值, 可选 UVC_VGA 和 UVC_720P.
  • 中途切换分辨率: 通过 USB 的 ioctl, 例如 usb_host_uvc_ioctl (dev, USB_HOST_IO_CMD_SET_IDX, . . . ) .
  • 接了 HUB: 同样用 ioctl, 命令为 USB_HOST_IO_CMD_INSERT_HUB.

取一帧图片的写法 (宏定义在 jpgdef. h) :

void *f = GET_JPG_FRAME () ; 
if  (f)  {
    int node_len = GET_NODE_LEN (f) ;    // 每个节点长度相同
    int remain   = GET_JPG_LEN (f) ;     // 整张图大小
    while  (remain)  {
        uint8 *buf = GET_JPG_buf (f) ;   // 当前首节点
        int n = remain " = node_len ?  node_len :  remain;   // 最后一个节点按剩余长度算
        /* 在这里处理 buf 中的 n 字节 */
        FREE_JPG_NODE (f) ; 
        remain -= n; 
    }
    DEL_JPG_FRAME (f) ;    // 必须调用,  否则节点不归还,  后面取不到帧
}
打印 含义
babble error 信号线接触不良, 系统会重置 USB; 持续出现就查 USB 线
disconnect. . . . . . 设备掉线 (接触不良或被拔出) , 系统会重置 USB
XXX Err / Enum ERR 枚举失败, 系统会重置 USB
uvc can not set resolution : 720p 摄像头不支持 720P, 自动改为 VGA
_D3_ 摄像头 UVC 图像出错, 频繁出现请检查摄像头
_D1_ / _D2_ 缓存不足. 无 PSRAM 方案持续出现, 检查图片是否超过默认的 7×12K; 偶发但频繁, 说明 CPU 处理不过来

六, 数据流框架 stream_frame

SDK 用 stream_frame 统一管理音视频数据: 产生数据的一方是「发送流」, 使用数据的一方是「接收流」, 两者通过名字绑定, 任何任务都能按名字拿到想要的数据.

1. 核心接口

接口 谁用 说明
open_stream_available (name, data_count, recv_count, func, priv) 双方 创建流. name 唯一; data_count 是发送方节点数 (决定能缓冲多少帧) ; recv_count 是接收缓冲节点数, 满了之后新数据就收不到
close_stream (s) 双方 与 open 成对使用, 所有 open 都关了才会真正关闭
enable_stream (s, enable) 接收方 使能接收
get_src_data_f (s) 发送方 取一个空闲节点准备填数据
set_stream_real_data_len / set_stream_data_time 发送方 每次发送前设置长度和时间戳
send_data_to_stream (data) 发送方 发给所有已绑定且使能的流
force_del_data (data) 发送方 取到的节点不用了必须用它删掉, 否则节点丢失
recv_real_data (s) 接收方 收一个数据
get_stream_real_data / get_stream_real_data_len 接收方 取内容和长度; 音频直接是 PCM buf, JPEG 是节点链表需要特殊解析
free_data (data) 接收方 用完释放

func 回调用来响应流事件, 常用的有:

事件 时机
STREAM_OPEN_EXIT 首次 open 成功后, 适合绑定流, 打开 JPEG 硬件, 创建任务
STREAM_DATA_DIS / STREAM_DATA_DESTORY 为节点分配内存 / 关闭后回收内存, 两者对应
STREAM_DATA_FREE 所有接收方都用完某个节点时, 释放该节点占用的空间
STREAM_SEND_DATA_FINISH send_data_to_stream 发送完成
STREAM_CLOSE_EXIT close 结束; 流实际要再过 5~10ms 才回收, 此后不要再使用

更多事件定义在 stream_frame. h, 按需响应即可, 一般发送流要处理的事件比接收流多.

2. 收发流程

  • 发送方 (参考 video_app. c) : open_stream_available → 循环执行「get_src_data_f 取节点 → 填数据 → 设时间戳和长度 → send_data_to_stream」→ 不再产生数据时 close_stream.
  • 接收方: open_stream_available → 循环执行「recv_real_data → 解析数据 → 使用 → free_data」→ 结束时 close_stream.
想一帧不丢, 接收方要同时满足两点: 内存和节点足够, 并且处理, 释放得足够快. 另外建议在同一个任务或同一个事件里成对调用 open 和 close.

七, 拍照与录像

SDK 已经在 video_app. c 里把大部分硬件配好, 拍照参考 AT_save_photo. c, 录像参考 AT_save_avi. c. 用默认配置时, 按下面的流程就能拿到图片:

stream *s = open_stream_available (R_AT_SAVE_PHOTO,  0,  8,  opcode_func,  NULL) ;  // 建接收流
start_jpeg () ;                         // 内部创建 JPEG 发送流并绑定 R_AT_SAVE_PHOTO
struct data_structure *get_f = recv_real_data (s) ; 
void *fp = osal_fopen (filename,  "wb+") ; 

struct stream_jpeg_data_s *list = get_stream_real_data (get_f) ;  // 节点链表
uint32_t remain   = get_stream_real_data_len (get_f) ;            // 图片总长
uint32_t node_len = stream_data_custom_cmd_func (get_f,  CUSTOM_GET_NODE_LEN,  NULL) ; 
/* 遍历链表中的每个节点 el:  
 *   buf = stream_data_custom_cmd_func (get_f,  CUSTOM_GET_NODE_BUF,  el-" data) ; 
 *   按 min (remain,  node_len)  写卡:  osal_fwrite (buf,  1,  n,  fp) ;  remain -= n; 
 *   写完立刻 stream_data_custom_cmd_func (get_f,  CUSTOM_DEL_NODE,  el)  释放节点
 * 遍历写法以 AT_save_photo. c 为准 */
free_data (get_f) ;                     // 整帧用完释放
osal_fclose (fp) ; 

几点提示:

  1. 存卡前确认 SDH_EN, FS_EN 已打开; 录像还需要 OPENDML_EN, 它只支持 SDK 自带的录像格式, 其他格式需要自己实现.
  2. 节点用完立即删除, 空间才能尽快回到节点池, 否则编码端会因节点不足丢帧.
  3. 拍超大照片 (如 VGA 拉到 8K) 用 VPP 拍照模式加 SCALE1, 见第四节.
  4. 改完代码单台烧录推荐用创芯蜂 HiveComm (下载, 教程见 "CKLink 驱动安装与固件烧录教程: 用 HiveComm 一键烧录" ; CKLink 调试器可在创芯蜂淘宝店购买) , 烧不进去按 "TXW 系列芯片固件烧录 (下载) 教程: 烧录器接线, 操作与失败排查" 排查. USB, Flash 等其他常见问题可查 "TXW81x 开发常见问题汇总: Flash, 编译环境, 烧录, USB 与外设" .

参考资料

相关阅读

开发中遇到问题, 欢迎在社区提问, 也可以先问 AI 助手.

1 条评论

AI
问答

发布
问题