TXW82x 录像、拍照与 RTSP 图传:H.264 码流和 MSI 组件用法

发布于 2026-11-08 22:00:10

摄像头出图之后,最常用的三件事就是拍照、录像、RTSP 实时预览。TXW82x SDK 已经把这三样做成了现成的组件,在参考方案上调几个接口就能用。这篇讲清楚数据怎么流、接口怎么调、出问题查哪里。

内容整理自泰芯《TXW82x SDK 视频应用功能使用说明》(适用 v2.7.1.7)和《TXW82x_FPV_SDK 开发文档》。

一、先理解数据流和 MSI

TXW82x 的视频链路是:

Sensor → MIPI CSI → ISP → VPP → H.264 / JPEG 编码 → 拍照、录像、RTSP、屏幕

把这些模块串起来的是 SDK 的 MSI 媒体流框架:每个模块是一个组件,上游产出帧,下游消费帧,组件之间用 msi_add_output() 连起来。编码器输出有两个现成的「出口」:

出口内容谁来用
AUTO_H264H.264 码流录像、RTSP H.264
AUTO_JPGJPEG 图片拍照、RTSP MJPEG

IPC 720P、IPC 1080P、LCD 720P、ISP 调试这几个参考方案已经完成了 Sensor、ISP、VPP 和编码器的初始化,你只需要把自己的组件挂到出口上,不要重复初始化。

拍照和录像还需要:FS_EN=1、TF 卡已插入并挂载、SD 工作队列已初始化、音视频内存(AV SRAM / PSRAM)足够。

二、拍照

拍照组件挂在 AUTO_JPG 上,每次触发拍指定张数,拍完自动停止。

#include "app/takephoto_module/takephoto.h"
#include "stream_define.h"

struct msi *photo_msi = new_takephoto_msi(FRAMEBUFF_SOURCE_CAMERA0, FSTYPE_NONE);
if (photo_msi) {
    msi_add_output(NULL, AUTO_JPG, photo_msi, NULL);
}

// 拍 1 张(第三个参数是张数,填 2 就是连拍 2 张)
msi_do_cmd(photo_msi, MSI_CMD_START, 1, 0);
  • 原图存在 TF 卡 IMG 目录,同时生成一张 320×240 的缩略图放在 thumb 目录。
  • 自己读文件时建议用 VFS 路径,如 /sd0/IMG/...。
  • 不用时先 msi_del_output() 断开,再 msi_destroy() 释放。

三、录像

录像组件接在 H.264 码流后面,支持 MP4 和 AVI 两种格式。

#include "app/video_record/video_record.h"
#include "stream_define.h"

struct video_record_cfg cfg = {
    .name       = "customer_rec",          // 组件名,必须唯一
    .srcID      = FRAMEBUFF_SOURCE_CAMERA0,
    .filter     = FSTYPE_H264_VPP_DATA0,   // 选主码流还是副码流
    .rec_time   = 1,                       // 单个文件时长,单位分钟
    .audio_en   = 0,                       // 1 = 同时录音频
    .mode       = MP4_MODE_NORMAL,         // 普通 / 缩时 / 事件录像
    .video_fps  = 25,                      // 必须等于实际 H.264 帧率
    .file_process = NULL,
};

struct msi *h264_msi   = msi_find(AUTO_H264, 1);
struct msi *record_msi = mp4_record_msi_init(&cfg);   // AVI 用 avi_record_msi_init()
if (h264_msi && record_msi) {
    msi_add_output(h264_msi, NULL, record_msi, NULL);
}

// 开始录像
msi_do_cmd(record_msi, MSI_CMD_MEDIA_CTRL, MSI_MEDIA_CTRL_RECORD_START, 0);

需要注意:

  • video_fps 一定要和实际帧率一致。 1080P 方案的实际帧率可能是 15,不要照抄示例的 25,否则录出来的视频播放速度不对。
  • 单个文件的大小还受 MP4_MAX_SINGLE_SIZE 限制(参考方案是 100MB)。
  • 停止录像要走收尾流程:先把 record_msi->enable 置 0,再发 MSI_CMD_PRE_DESTROY 让组件写完 MP4 文件尾,然后断开、销毁、msi_put(h264_msi)。直接拔卡或断电,最后一个文件很可能打不开。
  • 产品要考虑掉电、拔卡:建议分段录制、检查每次写卡的返回值,并用不同容量和速度等级的卡实测。

四、RTSP 实时预览

RTSP 服务由 spook_init() 启动。参考 IPC 方案已经在 app_user_init() 里调用过了,不要重复启动。

码流地址
H.264rtsp://<设备IP>:554/h264
MJPEGrtsp://<设备IP>:554/webcam

参考 IPC 方案默认推的是 H.264 辅码流(720P 方案为 640×360),SDK 选型表里给的地址是 rtsp://<设备IP>:554/h264?1。

设备默认是 AP 模式,IP 为 192.168.1.1。电脑连上设备热点后,用 VLC「打开网络串流」输入 rtsp://192.168.1.1:554/h264 就能看到画面。用电脑拉流的详细步骤可以参考 TXW 开发板 RTSP 实时预览教程。

没画面怎么查

  1. 设备和电脑网络是否互通(能 ping 通设备 IP)。
  2. spook_init() 是否执行过。
  3. H.264 或 JPEG 编码链是否初始化(app_h264_init()、auto_jpg_msi_init())。
  4. AUTO_H264 / AUTO_JPG 有没有数据输出。
  5. 调用 msi_dump() 查看组件之间的连接状态。

五、要整套 App 功能:用「录风者」

如果产品需要现成的 HTTP 拍照、录像、参数设置和文件管理,可以直接调用:

#include "app/viidure/recorder_viidure.h"
config_Viidure(80);   // 80 是 HTTP 服务端口

配合「录风者」App 使用。IPC 720P、LCD 720P、IPC 1080P 和 ISP 调试方案默认已经调用;低功耗 720P 和电池相机方案默认没有调用。只需要简单拍照录像时,用前面的直接接口就够了,不必引入整套 HTTP 应用。

六、常见问题

现象先查这些
拍照没有文件TF 卡是否挂载、FS_EN、AUTO_JPG 是否有输出、拍照组件是否已连接
录像文件打不开是否走了停止收尾流程、video_fps 是否和实际帧率一致
录像中途断掉TF 卡写入速度、剩余空间、PSRAM 是否够、队列是否积压
RTSP 卡顿Wi-Fi 信号、码率、聚合参数、播放器用的是 TCP 还是 UDP
日志刷 input fb queue full下游处理太慢或队列太小
花屏、码流损坏辅码流尺寸比例 / stride 是否正确,MSI buffer 是否有漏 release 或重复 release
拍照、录像、RTSP、屏幕和 Wi-Fi 同时工作时,会共用 PSRAM 和总线带宽。排查性能问题时要看整体,不要只看编码器自己的耗时。

相关阅读

参考资料

0 条评论

AI
问答

发布
问题