这篇写给要在 TXW81x 上做摄像头产品的软件工程师:换一颗新的 DVP 摄像头、调分辨率和画质、接 USB 摄像头、把图片拿出来存卡或发出去,这些都绕不开 SDK 里的视频链路和数据流框架。读完你应该知道改哪个宏、加哪个表、调哪个接口,以及串口里那些奇怪的打印是什么意思。
技术细节以泰芯官方《TXW81x 视频方案开发指南》为准。
如果只是想先用开发板看到画面,请看《摄像头开发板快速上手:四步用手机看实时画面(GoSky APP)》或《TXW 开发板 RTSP 实时预览教程:用电脑拉流查看摄像头画面》,本文不再重复。
TXW81x 的视频由几个硬件模块串起来,各模块只要自己使能,下游模块改一下「输入源」就能取到数据:
DVP 摄像头 → VPP(buf0 / buf1) ─┬→ MJPEG0 / MJPEG1 → 应用(存卡、图传)
├→ SCALE1(伸缩)→ MJPEG
└→ SCALE3(伸缩)→ LCD
SPI 摄像头 → PRC(数据重排)→ MJPEG
USB 摄像头(UVC)→ 直接输出 MJPEG| 模块 | 作用 |
|---|---|
| VPP | DVP 的下层采集模块,只接收 YUV422 和 RAW,且只有 YUV422 能进 MJPEG;带水印、相框、移动侦测、拍照模式 |
| PRC | 把 SPI 摄像头的 yuyv 数据重排成 yyyyuuvv,交给 MJPEG 压缩 |
| MJPEG0 / MJPEG1 | 两路 JPEG 编码;MJPEG1 还能解码,解码结果经 SCALE2 伸缩后用于推屏 |
| SCALE1 / 2 / 3 | 分别负责:进 MJPEG 前伸缩、解码后伸缩、推屏前伸缩 |
和 TXW80x 不同:TXW81x 去掉了 DVP 输入裁剪和 RGB 到 JPEG 的通路,Sensor 要输出 YUV422;缩放功能挪到了 SCALE1。
以下宏都基于 SDK 自带的图传协议:
| 宏 | 作用 |
|---|---|
DVP_EN | 启用 DVP 摄像头 |
USB_EN | 启用 USB 摄像头(示例配置中 USB_HOST_EN 也为 1) |
VPP_EN | DVP 的下层接口模块,示例中直接等于 DVP_EN |
PRC_EN | PRC 功能,SPI 摄像头或固定 YUV 图像进 JPEG 时需要 |
JPG_EN | 启用 JPEG,两路都能用 |
LCD_EN | 启用 LCD 控制器 |
SCALE_EN | 打开 SCALE1/2/3 |
SDH_EN、FS_EN | SD 卡与文件系统初始化,拍照录像存卡需要 |
NEW_FRAME | 数据流处理功能,默认打开 |
OPENDML_EN | 录像时打开,只支持 SDK 自带的录像格式 |
VCAM_EN | 摄像头 IO 电源,示例配置中跟随 DVP_EN 打开 |
摄像头和分辨率相关的宏:
| 宏 | 作用 |
|---|---|
IMAGE_W / IMAGE_H | 采集分辨率,VGA 摄像头配 VGA,720P 摄像头配 720P |
CMOS_AUTO_LOAD | 设为 1 时自动识别所有已支持的摄像头 |
DEV_SENSOR_xxx | 只支持某一款时单独打开,如 #define DEV_SENSOR_GC0308 1 |
JPG0_* / JPG1_* | 两路 MJPEG 的缓存配置,见第四节 |
UVC_* | USB 摄像头缓存配置,见第五节 |
已支持的型号和开关宏在 csi.h 里。官方文档示例中的列表如下(以你手上 SDK 为准):
跟随 CMOS_AUTO_LOAD 自动识别 | 默认关闭、需单独打开 |
|---|---|
| OV7725、OV7670、GC0308、GC0309、GC0328、BF3A03、BF3703、BF2013 | OV2640、XC7016_H63、XC7011_H63、XC7011_GC1054、XCG532、GC2145 |
关于 720P:Sensor 本身带 ISP、能直接输出处理好的 YUV,可以直接接主控;不带 ISP 的需要外接 ISP 芯片,目前适配了 XC7016 和 XC7011。两种情况都把 IMAGE_W / IMAGE_H 配成 720P。官方特别提醒 720P 摄像头的供电要格外注意,硬件上要提前规划好给摄像头供电的 VCAM/VCC18,详见《TXW81x 硬件设计要点:电源、晶振、射频、摄像头与 PCB 布局检查清单》。
SDK 驱动一颗 DVP 摄像头的顺序是:先给 MCLK → 读 ID 确认型号 → 通过 I2C 写初始化表 → 重新配置 MCLK 开始出图。新增摄像头就是把这几步需要的信息填进去:
sensor_xxx.c 新建一个配置文件。_Sensor_Ident:I2C 读写命令、命令和数据的长度、ID 寄存器地址和 ID 值。sensorCheckId 就是拿这些信息判断插上的是不是这颗摄像头。_Sensor_Adpt_:| 字段 | 含义 |
|---|---|
pixelw / pixelh | 这份配置输出的分辨率 |
hsyn / vsyn | HSYNC、VSYNC 是高电平有效还是低电平有效 |
mclk | 识别到这颗摄像头后给它的 MCLK 频率 |
init | 初始化寄存器表,默认输出 YUYV |
csi.h 里加声明,并在 devSensorInitTable 和 devSensorOPTable 里加上这颗摄像头。IMAGE_W / IMAGE_H 与 pixelw / pixelh 一致。最常见的出错点:配置表分辨率和IMAGE_W/IMAGE_H不一致,或者初始化表里设置的同步极性和_Sensor_Adpt_里的hsyn/vsyn对不上,都会导致采集出错。
需要在运行时直接调 DVP/VPP 参数时,常用接口有:
| 接口 | 用途 |
|---|---|
dvp_set_baudrate | 波特率 |
vpp_set_video_size | 采集尺寸 |
dvp_set_hsync_polarity / dvp_set_vsync_polarity | 行、场同步有效电平 |
dvp_set_format / vpp_set_ycbcr | 输入格式、YUV 数据顺序 |
vpp_set_buf0/1_count | linebuf 行数,可配 16~32 行,够用就少配省内存 |
vpp_set_buf1_shrink | buf1 缩小为 1/2 或 1/3 |
水印(vpp_set_watermark0_*)、相框(vpp_set_ifp_*)、移动侦测(vpp_set_motion_*)也在 VPP 上,接口名见官方《视频-摄像头 API》。
| 打印 | 含义与处理 |
|---|---|
sip reset DVP | DVP 采集出错:检查摄像头是否插好、配置表分辨率与 IMAGE_W/H 是否一致、同步极性是否配对 |
fh / fv | 处理跟不上采集:fh 是上次的 buf 已被改写一半,fv 是已被整个改写;降低 DVP 时钟,或减少 DVP 中断里的工作 |
jpg done len err | CPU 来不及处理(压缩率低、图太大)或节点不够:提高代码运行效率、降低画质、增大节点或加节点数量 |
? | JPEG 异常,代码会复位 DVP 和 JPEG;持续出现时检查图片空间是否装不下整张图 |
每路 MJPEG 的缓存总大小 = JPG_NODE × (JPG_BUF_LEN + JPG_TAIL_RESERVER),在 jpg_room_init 里一次性申请;定义了 PSRAM_HEAP 时从 PSRAM 申请,否则从 SRAM 申请。官方文档示例中 JPG0_BUF_LEN 为 8192、JPG0_NODE 为 80,JPG1_BUF_LEN 为 1308、JPG1_NODE 为 40。
| 参数 | 怎么取舍 |
|---|---|
JPG_BUF_LEN | 单个节点大小,决定中断频率。不能太小,内存允许就往大调,一张图中断次数越少,效率越高、出错越少 |
JPG_NODE | 节点数量。节点用完时,正在编码的这张图会因内存不足被丢掉 |
JPG_HEAD_RESERVER / JPG_TAIL_RESERVER | 头尾自定义保留区,不需要就设 0(官方 SDK 默认 0) |
MJPEG 的输入源用 jpg_cfg 指定,可选 VPP_DATA0、VPP_DATA1、PRC_DATA、SCALER_DATA、SOFT_DATA;编码尺寸用 jpg_set_size 设置。
jpg_quality_tidy 会根据当前图片大小决定画质往哪个方向调,相当于给图片大小设了一个期望范围,但不是硬性保证:比如想把 720P 压到 20K 以内就做不到。quality_tab 提供 6 张量化表,可以自行修改;每张表还能做 16 级微调,8 表示不变,1~7 画质往上调,9~F 画质往下调。对应接口是 jpg_set_qt(微调)和 jpg_updata_dqt(改量化表)。| 需求 | 做法 |
|---|---|
| 缩小(如出 QVGA) | 优先用 VPP 的 buf1 缩小 1/2 或 1/3。大比例缩小用 SCALE1 需要更多 linebuf,不划算 |
| 放大到 2K 以内 | scale_from_vpp_to_jpg,同时把 photo_msg.out0_w/out0_h 改成目标尺寸,并把 JPEG 输入源改成 SCALER_DATA |
| 放大超过 2K | 打开 VPP 拍照模式,图像以 YUV420 存进 PSRAM,再用 scale_from_soft_to_jpg 拉伸,最大到 8K |
SCALE1 缩小倍数过大时会因 linebuf 不够报错,这时改用 VPP buf1。
SPI 摄像头的配置表和流程与 DVP 类似,区别是:没有 MCLK 引脚,用 PWM 充当时钟;主控作 SPI 从机,要求摄像头只在有数据时才输出 spi_clk;帧/行同步靠检测时钟停顿实现,CS 和 VSYNC 可以不接;数据用乒乓 buf 接收,配置都通过 ioctl 完成(见 spi_sensor.c),注意 SPI_WIRE_SINGLE_MODE 要和摄像头输出方式一致,否则图像错位。启动 MJPEG 时要保证 PRC 正处于帧间隔,否则会错行。
UVC 摄像头枚举后通过 set interface 开关数据流,数据走同步传输,摄像头直接输出 MJPEG。
| 宏 | 含义 | 默认 |
|---|---|---|
UVC_BLANK_LEN | 单个节点大小,不宜过小 | 12×1024 字节 |
UVC_BLANK_NUM | 节点数量 | 示例中有 PSRAM(UVC_PSRAM 为 1)时 3,否则 7 |
UVC_FRAME_NUM | 图片帧数 | 2 |
没有 PSRAM 时,UVC_BLANK_NUM × UVC_BLANK_LEN 至少要能装下 1.5 张图,否则图片会被丢弃。有 PSRAM 时节点数可以少一些,图片最终都存到 PSRAM。uvc_default_dpi 的返回值,可选 UVC_VGA 和 UVC_720P。usb_host_uvc_ioctl(dev, USB_HOST_IO_CMD_SET_IDX, ...)。USB_HOST_IO_CMD_INSERT_HUB。取一帧图片的写法(宏定义在 jpgdef.h):
void *f = GET_JPG_FRAME();
if (f) {
int node_len = GET_NODE_LEN(f); // 每个节点长度相同
int remain = GET_JPG_LEN(f); // 整张图大小
while (remain) {
uint8 *buf = GET_JPG_buf(f); // 当前首节点
int n = remain >= node_len ? node_len : remain; // 最后一个节点按剩余长度算
/* 在这里处理 buf 中的 n 字节 */
FREE_JPG_NODE(f);
remain -= n;
}
DEL_JPG_FRAME(f); // 必须调用,否则节点不归还,后面取不到帧
}| 打印 | 含义 |
|---|---|
babble error | 信号线接触不良,系统会重置 USB;持续出现就查 USB 线 |
disconnect...... | 设备掉线(接触不良或被拔出),系统会重置 USB |
XXX Err / Enum ERR | 枚举失败,系统会重置 USB |
uvc can not set resolution :720p | 摄像头不支持 720P,自动改为 VGA |
_D3_ | 摄像头 UVC 图像出错,频繁出现请检查摄像头 |
_D1_ / _D2_ | 缓存不足。无 PSRAM 方案持续出现,检查图片是否超过默认的 7×12K;偶发但频繁,说明 CPU 处理不过来 |
SDK 用 stream_frame 统一管理音视频数据:产生数据的一方是「发送流」,使用数据的一方是「接收流」,两者通过名字绑定,任何任务都能按名字拿到想要的数据。
| 接口 | 谁用 | 说明 |
|---|---|---|
open_stream_available(name, data_count, recv_count, func, priv) | 双方 | 创建流。name 唯一;data_count 是发送方节点数(决定能缓冲多少帧);recv_count 是接收缓冲节点数,满了之后新数据就收不到 |
close_stream(s) | 双方 | 与 open 成对使用,所有 open 都关了才会真正关闭 |
enable_stream(s, enable) | 接收方 | 使能接收 |
get_src_data_f(s) | 发送方 | 取一个空闲节点准备填数据 |
set_stream_real_data_len / set_stream_data_time | 发送方 | 每次发送前设置长度和时间戳 |
send_data_to_stream(data) | 发送方 | 发给所有已绑定且使能的流 |
force_del_data(data) | 发送方 | 取到的节点不用了必须用它删掉,否则节点丢失 |
recv_real_data(s) | 接收方 | 收一个数据 |
get_stream_real_data / get_stream_real_data_len | 接收方 | 取内容和长度;音频直接是 PCM buf,JPEG 是节点链表需要特殊解析 |
free_data(data) | 接收方 | 用完释放 |
func 回调用来响应流事件,常用的有:
| 事件 | 时机 |
|---|---|
STREAM_OPEN_EXIT | 首次 open 成功后,适合绑定流、打开 JPEG 硬件、创建任务 |
STREAM_DATA_DIS / STREAM_DATA_DESTORY | 为节点分配内存 / 关闭后回收内存,两者对应 |
STREAM_DATA_FREE | 所有接收方都用完某个节点时,释放该节点占用的空间 |
STREAM_SEND_DATA_FINISH | send_data_to_stream 发送完成 |
STREAM_CLOSE_EXIT | close 结束;流实际要再过 5~10ms 才回收,此后不要再使用 |
更多事件定义在 stream_frame.h,按需响应即可,一般发送流要处理的事件比接收流多。
video_app.c):open_stream_available → 循环执行「get_src_data_f 取节点 → 填数据 → 设时间戳和长度 → send_data_to_stream」→ 不再产生数据时 close_stream。open_stream_available → 循环执行「recv_real_data → 解析数据 → 使用 → free_data」→ 结束时 close_stream。想一帧不丢,接收方要同时满足两点:内存和节点足够,并且处理、释放得足够快。另外建议在同一个任务或同一个事件里成对调用 open 和 close。
SDK 已经在 video_app.c 里把大部分硬件配好,拍照参考 AT_save_photo.c,录像参考 AT_save_avi.c。用默认配置时,按下面的流程就能拿到图片:
stream *s = open_stream_available(R_AT_SAVE_PHOTO, 0, 8, opcode_func, NULL); // 建接收流
start_jpeg(); // 内部创建 JPEG 发送流并绑定 R_AT_SAVE_PHOTO
struct data_structure *get_f = recv_real_data(s);
void *fp = osal_fopen(filename, "wb+");
struct stream_jpeg_data_s *list = get_stream_real_data(get_f); // 节点链表
uint32_t remain = get_stream_real_data_len(get_f); // 图片总长
uint32_t node_len = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_LEN, NULL);
/* 遍历链表中的每个节点 el:
* buf = stream_data_custom_cmd_func(get_f, CUSTOM_GET_NODE_BUF, el->data);
* 按 min(remain, node_len) 写卡:osal_fwrite(buf, 1, n, fp); remain -= n;
* 写完立刻 stream_data_custom_cmd_func(get_f, CUSTOM_DEL_NODE, el) 释放节点
* 遍历写法以 AT_save_photo.c 为准 */
free_data(get_f); // 整帧用完释放
osal_fclose(fp);几点提示:
SDH_EN、FS_EN 已打开;录像还需要 OPENDML_EN,它只支持 SDK 自带的录像格式,其他格式需要自己实现。
强强强,实在太强了!!!!!!!!!!!!!!