TXW81x DVP 摄像头适配与视频开发:配置宏、Sensor 移植、拍照录像

发布于 2026-11-08 22:02:50

这篇写给要在 TXW81x 上做摄像头产品的软件工程师:换一颗新的 DVP 摄像头、调分辨率和画质、接 USB 摄像头、把图片拿出来存卡或发出去,这些都绕不开 SDK 里的视频链路和数据流框架。读完你应该知道改哪个宏、加哪个表、调哪个接口,以及串口里那些奇怪的打印是什么意思。

技术细节以泰芯官方《TXW81x 视频方案开发指南》为准。

如果只是想先用开发板看到画面,请看《摄像头开发板快速上手:四步用手机看实时画面(GoSky APP)》或《TXW 开发板 RTSP 实时预览教程:用电脑拉流查看摄像头画面》,本文不再重复。

一、先看懂视频链路

TXW81x 的视频由几个硬件模块串起来,各模块只要自己使能,下游模块改一下「输入源」就能取到数据:

DVP 摄像头 → VPP(buf0 / buf1) ─┬→ MJPEG0 / MJPEG1 → 应用(存卡、图传)
                               ├→ SCALE1(伸缩)→ MJPEG
                               └→ SCALE3(伸缩)→ LCD
SPI 摄像头 → PRC(数据重排)→ MJPEG
USB 摄像头(UVC)→ 直接输出 MJPEG
模块作用
VPPDVP 的下层采集模块,只接收 YUV422 和 RAW,且只有 YUV422 能进 MJPEG;带水印、相框、移动侦测、拍照模式
PRC把 SPI 摄像头的 yuyv 数据重排成 yyyyuuvv,交给 MJPEG 压缩
MJPEG0 / MJPEG1两路 JPEG 编码;MJPEG1 还能解码,解码结果经 SCALE2 伸缩后用于推屏
SCALE1 / 2 / 3分别负责:进 MJPEG 前伸缩、解码后伸缩、推屏前伸缩
和 TXW80x 不同:TXW81x 去掉了 DVP 输入裁剪和 RGB 到 JPEG 的通路,Sensor 要输出 YUV422;缩放功能挪到了 SCALE1。

二、project_config.h 里的视频宏

以下宏都基于 SDK 自带的图传协议:

宏作用
DVP_EN启用 DVP 摄像头
USB_EN启用 USB 摄像头(示例配置中 USB_HOST_EN 也为 1)
VPP_ENDVP 的下层接口模块,示例中直接等于 DVP_EN
PRC_ENPRC 功能,SPI 摄像头或固定 YUV 图像进 JPEG 时需要
JPG_EN启用 JPEG,两路都能用
LCD_EN启用 LCD 控制器
SCALE_EN打开 SCALE1/2/3
SDH_EN、FS_ENSD 卡与文件系统初始化,拍照录像存卡需要
NEW_FRAME数据流处理功能,默认打开
OPENDML_EN录像时打开,只支持 SDK 自带的录像格式
VCAM_EN摄像头 IO 电源,示例配置中跟随 DVP_EN 打开

摄像头和分辨率相关的宏:

宏作用
IMAGE_W / IMAGE_H采集分辨率,VGA 摄像头配 VGA,720P 摄像头配 720P
CMOS_AUTO_LOAD设为 1 时自动识别所有已支持的摄像头
DEV_SENSOR_xxx只支持某一款时单独打开,如 #define DEV_SENSOR_GC0308 1
JPG0_* / JPG1_*两路 MJPEG 的缓存配置,见第四节
UVC_*USB 摄像头缓存配置,见第五节

三、换一颗新的 DVP 摄像头

1. 先确认是不是已经支持

已支持的型号和开关宏在 csi.h 里。官方文档示例中的列表如下(以你手上 SDK 为准):

跟随 CMOS_AUTO_LOAD 自动识别默认关闭、需单独打开
OV7725、OV7670、GC0308、GC0309、GC0328、BF3A03、BF3703、BF2013OV2640、XC7016_H63、XC7011_H63、XC7011_GC1054、XCG532、GC2145

关于 720P:Sensor 本身带 ISP、能直接输出处理好的 YUV,可以直接接主控;不带 ISP 的需要外接 ISP 芯片,目前适配了 XC7016 和 XC7011。两种情况都把 IMAGE_W / IMAGE_H 配成 720P。官方特别提醒 720P 摄像头的供电要格外注意,硬件上要提前规划好给摄像头供电的 VCAM/VCC18,详见《TXW81x 硬件设计要点:电源、晶振、射频、摄像头与 PCB 布局检查清单》。

2. 适配步骤

SDK 驱动一颗 DVP 摄像头的顺序是:先给 MCLK → 读 ID 确认型号 → 通过 I2C 写初始化表 → 重新配置 MCLK 开始出图。新增摄像头就是把这几步需要的信息填进去:

  1. 复制模板:参照已有的 sensor_xxx.c 新建一个配置文件。
  2. 填识别信息 _Sensor_Ident:I2C 读写命令、命令和数据的长度、ID 寄存器地址和 ID 值。sensorCheckId 就是拿这些信息判断插上的是不是这颗摄像头。
  3. 填适配信息 _Sensor_Adpt_:
字段含义
pixelw / pixelh这份配置输出的分辨率
hsyn / vsynHSYNC、VSYNC 是高电平有效还是低电平有效
mclk识别到这颗摄像头后给它的 MCLK 频率
init初始化寄存器表,默认输出 YUYV
  1. 注册:在 csi.h 里加声明,并在 devSensorInitTable 和 devSensorOPTable 里加上这颗摄像头。
  2. 对齐分辨率:确认 IMAGE_W / IMAGE_H 与 pixelw / pixelh 一致。
最常见的出错点:配置表分辨率和 IMAGE_W/IMAGE_H 不一致,或者初始化表里设置的同步极性和 _Sensor_Adpt_ 里的 hsyn/vsyn 对不上,都会导致采集出错。

需要在运行时直接调 DVP/VPP 参数时,常用接口有:

接口用途
dvp_set_baudrate波特率
vpp_set_video_size采集尺寸
dvp_set_hsync_polarity / dvp_set_vsync_polarity行、场同步有效电平
dvp_set_format / vpp_set_ycbcr输入格式、YUV 数据顺序
vpp_set_buf0/1_countlinebuf 行数,可配 16~32 行,够用就少配省内存
vpp_set_buf1_shrinkbuf1 缩小为 1/2 或 1/3

水印(vpp_set_watermark0_*)、相框(vpp_set_ifp_*)、移动侦测(vpp_set_motion_*)也在 VPP 上,接口名见官方《视频-摄像头 API》。

3. 看打印定位问题

打印含义与处理
sip reset DVPDVP 采集出错:检查摄像头是否插好、配置表分辨率与 IMAGE_W/H 是否一致、同步极性是否配对
fh / fv处理跟不上采集:fh 是上次的 buf 已被改写一半,fv 是已被整个改写;降低 DVP 时钟,或减少 DVP 中断里的工作
jpg done len errCPU 来不及处理(压缩率低、图太大)或节点不够:提高代码运行效率、降低画质、增大节点或加节点数量
?JPEG 异常,代码会复位 DVP 和 JPEG;持续出现时检查图片空间是否装不下整张图

四、分辨率与 MJPEG 配置

1. 缓存怎么配

每路 MJPEG 的缓存总大小 = JPG_NODE × (JPG_BUF_LEN + JPG_TAIL_RESERVER),在 jpg_room_init 里一次性申请;定义了 PSRAM_HEAP 时从 PSRAM 申请,否则从 SRAM 申请。官方文档示例中 JPG0_BUF_LEN 为 8192、JPG0_NODE 为 80,JPG1_BUF_LEN 为 1308、JPG1_NODE 为 40。

参数怎么取舍
JPG_BUF_LEN单个节点大小,决定中断频率。不能太小,内存允许就往大调,一张图中断次数越少,效率越高、出错越少
JPG_NODE节点数量。节点用完时,正在编码的这张图会因内存不足被丢掉
JPG_HEAD_RESERVER / JPG_TAIL_RESERVER头尾自定义保留区,不需要就设 0(官方 SDK 默认 0)

MJPEG 的输入源用 jpg_cfg 指定,可选 VPP_DATA0、VPP_DATA1、PRC_DATA、SCALER_DATA、SOFT_DATA;编码尺寸用 jpg_set_size 设置。

2. 画质与图片大小

  • 中断里调用的 jpg_quality_tidy 会根据当前图片大小决定画质往哪个方向调,相当于给图片大小设了一个期望范围,但不是硬性保证:比如想把 720P 压到 20K 以内就做不到。
  • 实际大小取决于量化表和微调值:quality_tab 提供 6 张量化表,可以自行修改;每张表还能做 16 级微调,8 表示不变,1~7 画质往上调,9~F 画质往下调。对应接口是 jpg_set_qt(微调)和 jpg_updata_dqt(改量化表)。

3. 缩小与放大

需求做法
缩小(如出 QVGA)优先用 VPP 的 buf1 缩小 1/2 或 1/3。大比例缩小用 SCALE1 需要更多 linebuf,不划算
放大到 2K 以内scale_from_vpp_to_jpg,同时把 photo_msg.out0_w/out0_h 改成目标尺寸,并把 JPEG 输入源改成 SCALER_DATA
放大超过 2K打开 VPP 拍照模式,图像以 YUV420 存进 PSRAM,再用 scale_from_soft_to_jpg 拉伸,最大到 8K
SCALE1 缩小倍数过大时会因 linebuf 不够报错,这时改用 VPP buf1。

4. SPI 摄像头简述

SPI 摄像头的配置表和流程与 DVP 类似,区别是:没有 MCLK 引脚,用 PWM 充当时钟;主控作 SPI 从机,要求摄像头只在有数据时才输出 spi_clk;帧/行同步靠检测时钟停顿实现,CS 和 VSYNC 可以不接;数据用乒乓 buf 接收,配置都通过 ioctl 完成(见 spi_sensor.c),注意 SPI_WIRE_SINGLE_MODE 要和摄像头输出方式一致,否则图像错位。启动 MJPEG 时要保证 PRC 正处于帧间隔,否则会错行。

五、USB 摄像头(UVC)

UVC 摄像头枚举后通过 set interface 开关数据流,数据走同步传输,摄像头直接输出 MJPEG。

宏含义默认
UVC_BLANK_LEN单个节点大小,不宜过小12×1024 字节
UVC_BLANK_NUM节点数量示例中有 PSRAM(UVC_PSRAM 为 1)时 3,否则 7
UVC_FRAME_NUM图片帧数2
没有 PSRAM 时,UVC_BLANK_NUM × UVC_BLANK_LEN 至少要能装下 1.5 张图,否则图片会被丢弃。有 PSRAM 时节点数可以少一些,图片最终都存到 PSRAM。
  • 默认分辨率:改 uvc_default_dpi 的返回值,可选 UVC_VGA 和 UVC_720P。
  • 中途切换分辨率:通过 USB 的 ioctl,例如 usb_host_uvc_ioctl(dev, USB_HOST_IO_CMD_SET_IDX, ...)。
  • 接了 HUB:同样用 ioctl,命令为 USB_HOST_IO_CMD_INSERT_HUB。

取一帧图片的写法(宏定义在 jpgdef.h):

void *f = GET_JPG_FRAME();
if (f) {
    int node_len = GET_NODE_LEN(f);   // 每个节点长度相同
    int remain   = GET_JPG_LEN(f);    // 整张图大小
    while (remain) {
        uint8 *buf = GET_JPG_buf(f);  // 当前首节点
        int n = remain >= node_len ? node_len : remain;  // 最后一个节点按剩余长度算
        /* 在这里处理 buf 中的 n 字节 */
        FREE_JPG_NODE(f);
        remain -= n;
    }
    DEL_JPG_FRAME(f);   // 必须调用,否则节点不归还,后面取不到帧
}
打印含义
babble error信号线接触不良,系统会重置 USB;持续出现就查 USB 线
disconnect......设备掉线(接触不良或被拔出),系统会重置 USB
XXX Err / Enum ERR枚举失败,系统会重置 USB
uvc can not set resolution :720p摄像头不支持 720P,自动改为 VGA
_D3_摄像头 UVC 图像出错,频繁出现请检查摄像头
_D1_ / _D2_缓存不足。无 PSRAM 方案持续出现,检查图片是否超过默认的 7×12K;偶发但频繁,说明 CPU 处理不过来

六、数据流框架 stream_frame

SDK 用 stream_frame 统一管理音视频数据:产生数据的一方是「发送流」,使用数据的一方是「接收流」,两者通过名字绑定,任何任务都能按名字拿到想要的数据。

1. 核心接口

接口谁用说明
open_stream_available(name, data_count, recv_count, func, priv)双方创建流。name 唯一;data_count 是发送方节点数(决定能缓冲多少帧);recv_count 是接收缓冲节点数,满了之后新数据就收不到
close_stream(s)双方与 open 成对使用,所有 open 都关了才会真正关闭
enable_stream(s, enable)接收方使能接收
get_src_data_f(s)发送方取一个空闲节点准备填数据
set_stream_real_data_len / set_stream_data_time发送方每次发送前设置长度和时间戳
send_data_to_stream(data)发送方发给所有已绑定且使能的流
force_del_data(data)发送方取到的节点不用了必须用它删掉,否则节点丢失
recv_real_data(s)接收方收一个数据
get_stream_real_data / get_stream_real_data_len接收方取内容和长度;音频直接是 PCM buf,JPEG 是节点链表需要特殊解析
free_data(data)接收方用完释放

func 回调用来响应流事件,常用的有:

事件时机
STREAM_OPEN_EXIT首次 open 成功后,适合绑定流、打开 JPEG 硬件、创建任务
STREAM_DATA_DIS / STREAM_DATA_DESTORY为节点分配内存 / 关闭后回收内存,两者对应
STREAM_DATA_FREE所有接收方都用完某个节点时,释放该节点占用的空间
STREAM_SEND_DATA_FINISHsend_data_to_stream 发送完成
STREAM_CLOSE_EXITclose 结束;流实际要再过 5~10ms 才回收,此后不要再使用

更多事件定义在 stream_frame.h,按需响应即可,一般发送流要处理的事件比接收流多。

2. 收发流程

  • 发送方(参考 video_app.c):open_stream_available → 循环执行「get_src_data_f 取节点 → 填数据 → 设时间戳和长度 → send_data_to_stream」→ 不再产生数据时 close_stream。
  • 接收方:open_stream_available → 循环执行「recv_real_data → 解析数据 → 使用 → free_data」→ 结束时 close_stream。
想一帧不丢,接收方要同时满足两点:内存和节点足够,并且处理、释放得足够快。另外建议在同一个任务或同一个事件里成对调用 open 和 close。

七、拍照与录像

SDK 已经在 video_app.c 里把大部分硬件配好,拍照参考 AT_save_photo.c,录像参考 AT_save_avi.c。用默认配置时,按下面的流程就能拿到图片:

stream *s = open_stream_available(R_AT_SAVE_PHOTO, 0, 8, opcode_func, NULL); // 建接收流
start_jpeg();                        // 内部创建 JPEG 发送流并绑定 R_AT_SAVE_PHOTO
struct data_structure *get_f = recv_real_data(s);
void *fp = osal_fopen(filename, "wb+");

struct stream_jpeg_data_s *list = get_stream_real_data(get_f); // 节点链表
uint32_t remain   = get_stream_real_data_len(get_f);           // 图片总长
uint32_t node_len = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_LEN, NULL);
/* 遍历链表中的每个节点 el:
 *   buf = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_BUF, el->data);
 *   按 min(remain, node_len) 写卡:osal_fwrite(buf, 1, n, fp); remain -= n;
 *   写完立刻 stream_data_custom_cmd_func(get_f, CUSTOM_DEL_NODE, el) 释放节点
 * 遍历写法以 AT_save_photo.c 为准 */
free_data(get_f);                    // 整帧用完释放
osal_fclose(fp);

几点提示:

  1. 存卡前确认 SDH_EN、FS_EN 已打开;录像还需要 OPENDML_EN,它只支持 SDK 自带的录像格式,其他格式需要自己实现。
  2. 节点用完立即删除,空间才能尽快回到节点池,否则编码端会因节点不足丢帧。
  3. 拍超大照片(如 VGA 拉到 8K)用 VPP 拍照模式加 SCALE1,见第四节。
  4. 改完代码单台烧录推荐用创芯蜂 HiveComm(下载,教程见《CKLink 驱动安装与固件烧录教程:用 HiveComm 一键烧录》;CKLink 调试器可在创芯蜂淘宝店购买),烧不进去按《TXW 系列芯片固件烧录(下载)教程:烧录器接线、操作与失败排查》排查。USB、Flash 等其他常见问题可查《TXW81x 开发常见问题汇总:Flash、编译环境、烧录、USB 与外设》。

参考资料

相关阅读

开发中遇到问题,欢迎在社区提问,也可以先问 AI 助手。

1 条评论

AI
问答

发布
问题