这篇写给要在 TXW81x 上做摄像头产品的软件工程师: 换一颗新的 DVP 摄像头, 调分辨率和画质, 接 USB 摄像头, 把图片拿出来存卡或发出去, 这些都绕不开 SDK 里的视频链路和数据流框架. 读完你应该知道改哪个宏, 加哪个表, 调哪个接口, 以及串口里那些奇怪的打印是什么意思.
技术细节以泰芯官方 TXW81x 视频方案开发指南 为准.
如果只是想先用开发板看到画面, 请看 摄像头开发板快速上手: 四步用手机看实时画面 (GoSky APP) 或 TXW 开发板 RTSP 实时预览教程: 用电脑拉流查看摄像头画面 , 本文不再重复.
TXW81x 的视频由几个硬件模块串起来, 各模块只要自己使能, 下游模块改一下「输入源」就能取到数据:
DVP 摄像头 → VPP (buf0 / buf1) ─┬→ MJPEG0 / MJPEG1 → 应用 (存卡, 图传)
├→ SCALE1 (伸缩) → MJPEG
└→ SCALE3 (伸缩) → LCD
SPI 摄像头 → PRC (数据重排) → MJPEG
USB 摄像头 (UVC) → 直接输出 MJPEG
| 模块 | 作用 |
|---|---|
| VPP | DVP 的下层采集模块, 只接收 YUV422 和 RAW, 且只有 YUV422 能进 MJPEG; 带水印, 相框, 移动侦测, 拍照模式 |
| PRC | 把 SPI 摄像头的 yuyv 数据重排成 yyyyuuvv, 交给 MJPEG 压缩 |
| MJPEG0 / MJPEG1 | 两路 JPEG 编码; MJPEG1 还能解码, 解码结果经 SCALE2 伸缩后用于推屏 |
| SCALE1 / 2 / 3 | 分别负责: 进 MJPEG 前伸缩, 解码后伸缩, 推屏前伸缩 |
和 TXW80x 不同: TXW81x 去掉了 DVP 输入裁剪和 RGB 到 JPEG 的通路, Sensor 要输出 YUV422; 缩放功能挪到了 SCALE1.
以下宏都基于 SDK 自带的图传协议:
| 宏 | 作用 |
|---|---|
DVP_EN |
启用 DVP 摄像头 |
USB_EN |
启用 USB 摄像头 (示例配置中 USB_HOST_EN 也为 1) |
VPP_EN |
DVP 的下层接口模块, 示例中直接等于 DVP_EN
|
PRC_EN |
PRC 功能, SPI 摄像头或固定 YUV 图像进 JPEG 时需要 |
JPG_EN |
启用 JPEG, 两路都能用 |
LCD_EN |
启用 LCD 控制器 |
SCALE_EN |
打开 SCALE1/2/3 |
SDH_EN, FS_EN
|
SD 卡与文件系统初始化, 拍照录像存卡需要 |
NEW_FRAME |
数据流处理功能, 默认打开 |
OPENDML_EN |
录像时打开, 只支持 SDK 自带的录像格式 |
VCAM_EN |
摄像头 IO 电源, 示例配置中跟随 DVP_EN 打开 |
摄像头和分辨率相关的宏:
| 宏 | 作用 |
|---|---|
IMAGE_W / IMAGE_H
|
采集分辨率, VGA 摄像头配 VGA, 720P 摄像头配 720P |
CMOS_AUTO_LOAD |
设为 1 时自动识别所有已支持的摄像头 |
DEV_SENSOR_xxx |
只支持某一款时单独打开, 如 #define DEV_SENSOR_GC0308 1
|
JPG0_* / JPG1_*
|
两路 MJPEG 的缓存配置, 见第四节 |
UVC_* |
USB 摄像头缓存配置, 见第五节 |
已支持的型号和开关宏在 csi. h 里. 官方文档示例中的列表如下 (以你手上 SDK 为准) :
跟随 CMOS_AUTO_LOAD 自动识别 |
默认关闭, 需单独打开 |
|---|---|
| OV7725, OV7670, GC0308, GC0309, GC0328, BF3A03, BF3703, BF2013 | OV2640, XC7016_H63, XC7011_H63, XC7011_GC1054, XCG532, GC2145 |
关于 720P: Sensor 本身带 ISP, 能直接输出处理好的 YUV, 可以直接接主控; 不带 ISP 的需要外接 ISP 芯片, 目前适配了 XC7016 和 XC7011. 两种情况都把 IMAGE_W / IMAGE_H 配成 720P. 官方特别提醒 720P 摄像头的供电要格外注意, 硬件上要提前规划好给摄像头供电的 VCAM/VCC18, 详见 TXW81x 硬件设计要点: 电源, 晶振, 射频, 摄像头与 PCB 布局检查清单 .
SDK 驱动一颗 DVP 摄像头的顺序是: 先给 MCLK → 读 ID 确认型号 → 通过 I2C 写初始化表 → 重新配置 MCLK 开始出图. 新增摄像头就是把这几步需要的信息填进去:
sensor_xxx. c 新建一个配置文件. _Sensor_Ident: I2C 读写命令, 命令和数据的长度, ID 寄存器地址和 ID 值. sensorCheckId 就是拿这些信息判断插上的是不是这颗摄像头. _Sensor_Adpt_: | 字段 | 含义 |
|---|---|
pixelw / pixelh
|
这份配置输出的分辨率 |
hsyn / vsyn
|
HSYNC, VSYNC 是高电平有效还是低电平有效 |
mclk |
识别到这颗摄像头后给它的 MCLK 频率 |
init |
初始化寄存器表, 默认输出 YUYV |
csi. h 里加声明, 并在 devSensorInitTable 和 devSensorOPTable 里加上这颗摄像头. IMAGE_W / IMAGE_H 与 pixelw / pixelh 一致. 最常见的出错点: 配置表分辨率和IMAGE_W/IMAGE_H不一致, 或者初始化表里设置的同步极性和_Sensor_Adpt_里的hsyn/vsyn对不上, 都会导致采集出错.
需要在运行时直接调 DVP/VPP 参数时, 常用接口有:
| 接口 | 用途 |
|---|---|
dvp_set_baudrate |
波特率 |
vpp_set_video_size |
采集尺寸 |
dvp_set_hsync_polarity / dvp_set_vsync_polarity
|
行, 场同步有效电平 |
dvp_set_format / vpp_set_ycbcr
|
输入格式, YUV 数据顺序 |
vpp_set_buf0/1_count |
linebuf 行数, 可配 16~32 行, 够用就少配省内存 |
vpp_set_buf1_shrink |
buf1 缩小为 1/2 或 1/3 |
水印 (vpp_set_watermark0_*) , 相框 (vpp_set_ifp_*) , 移动侦测 (vpp_set_motion_*) 也在 VPP 上, 接口名见官方 视频-摄像头 API .
| 打印 | 含义与处理 |
|---|---|
sip reset DVP |
DVP 采集出错: 检查摄像头是否插好, 配置表分辨率与 IMAGE_W/H 是否一致, 同步极性是否配对 |
fh / fv
|
处理跟不上采集: fh 是上次的 buf 已被改写一半, fv 是已被整个改写; 降低 DVP 时钟, 或减少 DVP 中断里的工作 |
jpg done len err |
CPU 来不及处理 (压缩率低, 图太大) 或节点不够: 提高代码运行效率, 降低画质, 增大节点或加节点数量 |
? |
JPEG 异常, 代码会复位 DVP 和 JPEG; 持续出现时检查图片空间是否装不下整张图 |
每路 MJPEG 的缓存总大小 = JPG_NODE × (JPG_BUF_LEN + JPG_TAIL_RESERVER) , 在 jpg_room_init 里一次性申请; 定义了 PSRAM_HEAP 时从 PSRAM 申请, 否则从 SRAM 申请. 官方文档示例中 JPG0_BUF_LEN 为 8192, JPG0_NODE 为 80, JPG1_BUF_LEN 为 1308, JPG1_NODE 为 40.
| 参数 | 怎么取舍 |
|---|---|
JPG_BUF_LEN |
单个节点大小, 决定中断频率. 不能太小, 内存允许就往大调, 一张图中断次数越少, 效率越高, 出错越少 |
JPG_NODE |
节点数量. 节点用完时, 正在编码的这张图会因内存不足被丢掉 |
JPG_HEAD_RESERVER / JPG_TAIL_RESERVER
|
头尾自定义保留区, 不需要就设 0 (官方 SDK 默认 0) |
MJPEG 的输入源用 jpg_cfg 指定, 可选 VPP_DATA0, VPP_DATA1, PRC_DATA, SCALER_DATA, SOFT_DATA; 编码尺寸用 jpg_set_size 设置.
jpg_quality_tidy 会根据当前图片大小决定画质往哪个方向调, 相当于给图片大小设了一个期望范围, 但不是硬性保证: 比如想把 720P 压到 20K 以内就做不到. quality_tab 提供 6 张量化表, 可以自行修改; 每张表还能做 16 级微调, 8 表示不变, 1~7 画质往上调, 9~F 画质往下调. 对应接口是 jpg_set_qt (微调) 和 jpg_updata_dqt (改量化表) . | 需求 | 做法 |
|---|---|
| 缩小 (如出 QVGA) | 优先用 VPP 的 buf1 缩小 1/2 或 1/3. 大比例缩小用 SCALE1 需要更多 linebuf, 不划算 |
| 放大到 2K 以内 |
scale_from_vpp_to_jpg, 同时把 photo_msg. out0_w/out0_h 改成目标尺寸, 并把 JPEG 输入源改成 SCALER_DATA
|
| 放大超过 2K | 打开 VPP 拍照模式, 图像以 YUV420 存进 PSRAM, 再用 scale_from_soft_to_jpg 拉伸, 最大到 8K |
SCALE1 缩小倍数过大时会因 linebuf 不够报错, 这时改用 VPP buf1.
SPI 摄像头的配置表和流程与 DVP 类似, 区别是: 没有 MCLK 引脚, 用 PWM 充当时钟; 主控作 SPI 从机, 要求摄像头只在有数据时才输出 spi_clk; 帧/行同步靠检测时钟停顿实现, CS 和 VSYNC 可以不接; 数据用乒乓 buf 接收, 配置都通过 ioctl 完成 (见 spi_sensor. c) , 注意 SPI_WIRE_SINGLE_MODE 要和摄像头输出方式一致, 否则图像错位. 启动 MJPEG 时要保证 PRC 正处于帧间隔, 否则会错行.
UVC 摄像头枚举后通过 set interface 开关数据流, 数据走同步传输, 摄像头直接输出 MJPEG.
| 宏 | 含义 | 默认 |
|---|---|---|
UVC_BLANK_LEN |
单个节点大小, 不宜过小 | 12×1024 字节 |
UVC_BLANK_NUM |
节点数量 | 示例中有 PSRAM (UVC_PSRAM 为 1) 时 3, 否则 7 |
UVC_FRAME_NUM |
图片帧数 | 2 |
没有 PSRAM 时, UVC_BLANK_NUM × UVC_BLANK_LEN 至少要能装下 1. 5 张图, 否则图片会被丢弃. 有 PSRAM 时节点数可以少一些, 图片最终都存到 PSRAM.
uvc_default_dpi 的返回值, 可选 UVC_VGA 和 UVC_720P. usb_host_uvc_ioctl (dev, USB_HOST_IO_CMD_SET_IDX, . . . ) . USB_HOST_IO_CMD_INSERT_HUB. 取一帧图片的写法 (宏定义在 jpgdef. h) :
void *f = GET_JPG_FRAME () ;
if (f) {
int node_len = GET_NODE_LEN (f) ; // 每个节点长度相同
int remain = GET_JPG_LEN (f) ; // 整张图大小
while (remain) {
uint8 *buf = GET_JPG_buf (f) ; // 当前首节点
int n = remain = node_len ? node_len : remain; // 最后一个节点按剩余长度算
/* 在这里处理 buf 中的 n 字节 */
FREE_JPG_NODE (f) ;
remain -= n;
}
DEL_JPG_FRAME (f) ; // 必须调用, 否则节点不归还, 后面取不到帧
}
| 打印 | 含义 |
|---|---|
babble error |
信号线接触不良, 系统会重置 USB; 持续出现就查 USB 线 |
disconnect. . . . . . |
设备掉线 (接触不良或被拔出) , 系统会重置 USB |
XXX Err / Enum ERR
|
枚举失败, 系统会重置 USB |
uvc can not set resolution : 720p |
摄像头不支持 720P, 自动改为 VGA |
_D3_ |
摄像头 UVC 图像出错, 频繁出现请检查摄像头 |
_D1_ / _D2_
|
缓存不足. 无 PSRAM 方案持续出现, 检查图片是否超过默认的 7×12K; 偶发但频繁, 说明 CPU 处理不过来 |
SDK 用 stream_frame 统一管理音视频数据: 产生数据的一方是「发送流」, 使用数据的一方是「接收流」, 两者通过名字绑定, 任何任务都能按名字拿到想要的数据.
| 接口 | 谁用 | 说明 |
|---|---|---|
open_stream_available (name, data_count, recv_count, func, priv) |
双方 | 创建流. name 唯一; data_count 是发送方节点数 (决定能缓冲多少帧) ; recv_count 是接收缓冲节点数, 满了之后新数据就收不到 |
close_stream (s) |
双方 | 与 open 成对使用, 所有 open 都关了才会真正关闭 |
enable_stream (s, enable) |
接收方 | 使能接收 |
get_src_data_f (s) |
发送方 | 取一个空闲节点准备填数据 |
set_stream_real_data_len / set_stream_data_time
|
发送方 | 每次发送前设置长度和时间戳 |
send_data_to_stream (data) |
发送方 | 发给所有已绑定且使能的流 |
force_del_data (data) |
发送方 | 取到的节点不用了必须用它删掉, 否则节点丢失 |
recv_real_data (s) |
接收方 | 收一个数据 |
get_stream_real_data / get_stream_real_data_len
|
接收方 | 取内容和长度; 音频直接是 PCM buf, JPEG 是节点链表需要特殊解析 |
free_data (data) |
接收方 | 用完释放 |
func 回调用来响应流事件, 常用的有:
| 事件 | 时机 |
|---|---|
STREAM_OPEN_EXIT |
首次 open 成功后, 适合绑定流, 打开 JPEG 硬件, 创建任务 |
STREAM_DATA_DIS / STREAM_DATA_DESTORY
|
为节点分配内存 / 关闭后回收内存, 两者对应 |
STREAM_DATA_FREE |
所有接收方都用完某个节点时, 释放该节点占用的空间 |
STREAM_SEND_DATA_FINISH |
send_data_to_stream 发送完成 |
STREAM_CLOSE_EXIT |
close 结束; 流实际要再过 5~10ms 才回收, 此后不要再使用 |
更多事件定义在 stream_frame. h, 按需响应即可, 一般发送流要处理的事件比接收流多.
video_app. c) : open_stream_available → 循环执行「get_src_data_f 取节点 → 填数据 → 设时间戳和长度 → send_data_to_stream」→ 不再产生数据时 close_stream. open_stream_available → 循环执行「recv_real_data → 解析数据 → 使用 → free_data」→ 结束时 close_stream. 想一帧不丢, 接收方要同时满足两点: 内存和节点足够, 并且处理, 释放得足够快. 另外建议在同一个任务或同一个事件里成对调用 open 和 close.
SDK 已经在 video_app. c 里把大部分硬件配好, 拍照参考 AT_save_photo. c, 录像参考 AT_save_avi. c. 用默认配置时, 按下面的流程就能拿到图片:
stream *s = open_stream_available (R_AT_SAVE_PHOTO, 0, 8, opcode_func, NULL) ; // 建接收流
start_jpeg () ; // 内部创建 JPEG 发送流并绑定 R_AT_SAVE_PHOTO
struct data_structure *get_f = recv_real_data (s) ;
void *fp = osal_fopen (filename, "wb+") ;
struct stream_jpeg_data_s *list = get_stream_real_data (get_f) ; // 节点链表
uint32_t remain = get_stream_real_data_len (get_f) ; // 图片总长
uint32_t node_len = stream_data_custom_cmd_func (get_f, CUSTOM_GET_NODE_LEN, NULL) ;
/* 遍历链表中的每个节点 el:
* buf = stream_data_custom_cmd_func (get_f, CUSTOM_GET_NODE_BUF, el- data) ;
* 按 min (remain, node_len) 写卡: osal_fwrite (buf, 1, n, fp) ; remain -= n;
* 写完立刻 stream_data_custom_cmd_func (get_f, CUSTOM_DEL_NODE, el) 释放节点
* 遍历写法以 AT_save_photo. c 为准 */
free_data (get_f) ; // 整帧用完释放
osal_fclose (fp) ;
几点提示:
SDH_EN, FS_EN 已打开; 录像还需要 OPENDML_EN, 它只支持 SDK 自带的录像格式, 其他格式需要自己实现.
强强强, 实在太强了! ! ! ! ! ! ! ! ! ! ! ! ! !