摄像头出图之后,最常用的三件事就是拍照、录像、RTSP 实时预览。TXW82x SDK 已经把这三样做成了现成的组件,在参考方案上调几个接口就能用。这篇讲清楚数据怎么流、接口怎么调、出问题查哪里。
内容整理自泰芯《TXW82x SDK 视频应用功能使用说明》(适用 v2.7.1.7)和《TXW82x_FPV_SDK 开发文档》。
TXW82x 的视频链路是:
Sensor → MIPI CSI → ISP → VPP → H.264 / JPEG 编码 → 拍照、录像、RTSP、屏幕
把这些模块串起来的是 SDK 的 MSI 媒体流框架:每个模块是一个组件,上游产出帧,下游消费帧,组件之间用 msi_add_output() 连起来。编码器输出有两个现成的「出口」:
| 出口 | 内容 | 谁来用 |
|---|---|---|
AUTO_H264 | H.264 码流 | 录像、RTSP H.264 |
AUTO_JPG | JPEG 图片 | 拍照、RTSP MJPEG |
IPC 720P、IPC 1080P、LCD 720P、ISP 调试这几个参考方案已经完成了 Sensor、ISP、VPP 和编码器的初始化,你只需要把自己的组件挂到出口上,不要重复初始化。
拍照和录像还需要:FS_EN=1、TF 卡已插入并挂载、SD 工作队列已初始化、音视频内存(AV SRAM / PSRAM)足够。
拍照组件挂在 AUTO_JPG 上,每次触发拍指定张数,拍完自动停止。
#include "app/takephoto_module/takephoto.h"
#include "stream_define.h"
struct msi *photo_msi = new_takephoto_msi(FRAMEBUFF_SOURCE_CAMERA0, FSTYPE_NONE);
if (photo_msi) {
msi_add_output(NULL, AUTO_JPG, photo_msi, NULL);
}
// 拍 1 张(第三个参数是张数,填 2 就是连拍 2 张)
msi_do_cmd(photo_msi, MSI_CMD_START, 1, 0);IMG 目录,同时生成一张 320×240 的缩略图放在 thumb 目录。/sd0/IMG/...。msi_del_output() 断开,再 msi_destroy() 释放。录像组件接在 H.264 码流后面,支持 MP4 和 AVI 两种格式。
#include "app/video_record/video_record.h"
#include "stream_define.h"
struct video_record_cfg cfg = {
.name = "customer_rec", // 组件名,必须唯一
.srcID = FRAMEBUFF_SOURCE_CAMERA0,
.filter = FSTYPE_H264_VPP_DATA0, // 选主码流还是副码流
.rec_time = 1, // 单个文件时长,单位分钟
.audio_en = 0, // 1 = 同时录音频
.mode = MP4_MODE_NORMAL, // 普通 / 缩时 / 事件录像
.video_fps = 25, // 必须等于实际 H.264 帧率
.file_process = NULL,
};
struct msi *h264_msi = msi_find(AUTO_H264, 1);
struct msi *record_msi = mp4_record_msi_init(&cfg); // AVI 用 avi_record_msi_init()
if (h264_msi && record_msi) {
msi_add_output(h264_msi, NULL, record_msi, NULL);
}
// 开始录像
msi_do_cmd(record_msi, MSI_CMD_MEDIA_CTRL, MSI_MEDIA_CTRL_RECORD_START, 0);需要注意:
video_fps 一定要和实际帧率一致。 1080P 方案的实际帧率可能是 15,不要照抄示例的 25,否则录出来的视频播放速度不对。MP4_MAX_SINGLE_SIZE 限制(参考方案是 100MB)。record_msi->enable 置 0,再发 MSI_CMD_PRE_DESTROY 让组件写完 MP4 文件尾,然后断开、销毁、msi_put(h264_msi)。直接拔卡或断电,最后一个文件很可能打不开。RTSP 服务由 spook_init() 启动。参考 IPC 方案已经在 app_user_init() 里调用过了,不要重复启动。
| 码流 | 地址 |
|---|---|
| H.264 | rtsp://<设备IP>:554/h264 |
| MJPEG | rtsp://<设备IP>:554/webcam |
参考 IPC 方案默认推的是 H.264 辅码流(720P 方案为 640×360),SDK 选型表里给的地址是 rtsp://<设备IP>:554/h264?1。
设备默认是 AP 模式,IP 为 192.168.1.1。电脑连上设备热点后,用 VLC「打开网络串流」输入 rtsp://192.168.1.1:554/h264 就能看到画面。用电脑拉流的详细步骤可以参考 TXW 开发板 RTSP 实时预览教程。
spook_init() 是否执行过。app_h264_init()、auto_jpg_msi_init())。AUTO_H264 / AUTO_JPG 有没有数据输出。msi_dump() 查看组件之间的连接状态。如果产品需要现成的 HTTP 拍照、录像、参数设置和文件管理,可以直接调用:
#include "app/viidure/recorder_viidure.h"
config_Viidure(80); // 80 是 HTTP 服务端口配合「录风者」App 使用。IPC 720P、LCD 720P、IPC 1080P 和 ISP 调试方案默认已经调用;低功耗 720P 和电池相机方案默认没有调用。只需要简单拍照录像时,用前面的直接接口就够了,不必引入整套 HTTP 应用。
| 现象 | 先查这些 |
|---|---|
| 拍照没有文件 | TF 卡是否挂载、FS_EN、AUTO_JPG 是否有输出、拍照组件是否已连接 |
| 录像文件打不开 | 是否走了停止收尾流程、video_fps 是否和实际帧率一致 |
| 录像中途断掉 | TF 卡写入速度、剩余空间、PSRAM 是否够、队列是否积压 |
| RTSP 卡顿 | Wi-Fi 信号、码率、聚合参数、播放器用的是 TCP 还是 UDP |
日志刷 input fb queue full | 下游处理太慢或队列太小 |
| 花屏、码流损坏 | 辅码流尺寸比例 / stride 是否正确,MSI buffer 是否有漏 release 或重复 release |
拍照、录像、RTSP、屏幕和 Wi-Fi 同时工作时,会共用 PSRAM 和总线带宽。排查性能问题时要看整体,不要只看编码器自己的耗时。