摄像头出图之后, 最常withthe三件事就是拍照, 录像, RTSP 实时预览. TXW82x SDK 已经把这三样do成了现成the组件, 在参考方案上调几个接口就能with. 这篇讲清楚数据怎么流, 接口怎么调, 出problem查哪里.
内容整理自泰芯 "TXW82x SDK 视频应with功能Use说明" (适with v2. 7. 1. 7) 和 "TXW82x_FPV_SDK 开发文档" .
TXW82x the视频链路是:
Sensor → MIPI CSI → ISP → VPP → H. 264 / JPEG 编码 → 拍照, 录像, RTSP, screen幕
把这些模块串起来the是 SDK the MSI 媒体流框架: 每个模块是一个组件, 上游产出帧, 下游消费帧, 组件之间with msi_add_output () 连起来. 编码器输出有两个现成the「出口」:
| 出口 | 内容 | 谁来with |
|---|---|---|
AUTO_H264 |
H. 264 码流 | 录像, RTSP H. 264 |
AUTO_JPG |
JPEG 图片 | 拍照, RTSP MJPEG |
IPC 720P, IPC 1080P, LCD 720P, ISP debug这几个参考方案已经完成了 Sensor, ISP, VPP 和编码器the初始化, 你只需要把自己the组件挂到出口上, 不要重复初始化.
拍照和录像还需要: FS_EN=1, TF 卡已插入并挂载, SD 工作队列已初始化, 音视频内存 (AV SRAM / PSRAM) 足够.
拍照组件挂在 AUTO_JPG 上, 每次触发拍指定张数, 拍完自动停止.
#include "app/takephoto_module/takephoto. h"
#include "stream_define. h"
struct msi *photo_msi = new_takephoto_msi (FRAMEBUFF_SOURCE_CAMERA0, FSTYPE_NONE) ;
if (photo_msi) {
msi_add_output (NULL, AUTO_JPG, photo_msi, NULL) ;
}
// 拍 1 张 (The first三个参数是张数, 填 2 就是连拍 2 张)
msi_do_cmd (photo_msi, MSI_CMD_START, 1, 0) ;
IMG 目录, 同时生成一张 320×240 the缩略图放在 thumb 目录. /sd0/IMG/. . . . msi_del_output () 断开, 再 msi_destroy () 释放. 录像组件接在 H. 264 码流后面, 支持 MP4 和 AVI 两种格式.
#include "app/video_record/video_record. h"
#include "stream_define. h"
struct video_record_cfg cfg = {
. name = "customer_rec", // 组件名, 必须唯一
. srcID = FRAMEBUFF_SOURCE_CAMERA0,
. filter = FSTYPE_H264_VPP_DATA0, // 选主码流还是副码流
. rec_time = 1, // 单个文件时长, 单位分钟
. audio_en = 0, // 1 = 同时录音频
. mode = MP4_MODE_NORMAL, // 普通 / 缩时 / 事件录像
. video_fps = 25, // 必须等于实际 H. 264 帧率
. file_process = NULL,
};
struct msi *h264_msi = msi_find (AUTO_H264, 1) ;
struct msi *record_msi = mp4_record_msi_init (&cfg) ; // AVI with avi_record_msi_init ()
if (h264_msi && record_msi) {
msi_add_output (h264_msi, NULL, record_msi, NULL) ;
}
// 开始录像
msi_do_cmd (record_msi, MSI_CMD_MEDIA_CTRL, MSI_MEDIA_CTRL_RECORD_START, 0) ;
需要注意:
video_fps 一定要和实际帧率一致. 1080P 方案the实际帧率可能是 15, 不要照抄示例the 25, 否则录出来the视频播放speed不对. MP4_MAX_SINGLE_SIZE 限制 (参考方案是 100MB) . record_msi-" enable 置 0, 再发 MSI_CMD_PRE_DESTROY 让组件写完 MP4 文件尾, 然后断开, 销毁, msi_put (h264_msi) . 直接拔卡或断电, 最后一个文件很可能打不开. RTSP 服务由 spook_init () 启动. 参考 IPC 方案已经在 app_user_init () 里调with过了, 不要重复启动.
| 码流 | 地址 |
|---|---|
| H. 264 | rtsp: // "设To prepare IP" : 554/h264 |
| MJPEG | rtsp: // "设To prepare IP" : 554/webcam |
参考 IPC 方案默认推the是 H. 264 辅码流 (720P 方案为 640×360) , SDK 选型表里给the地址是 rtsp: // "设To prepare IP" : 554/h264? 1.
设To prepare默认是 AP mode, IP 为 192. 168. 1. 1. 电脑连上设To prepare热点后, with VLC「打开网络串流」输入 rtsp: //192. 168. 1. 1: 554/h264 就能看到画面. with电脑拉流the详细步骤可以参考 TXW 开发板 RTSP 实时预览教程.
spook_init () 是否执行过. app_h264_init () , auto_jpg_msi_init () ) . AUTO_H264 / AUTO_JPG Is there any数据输出. msi_dump () 查看组件之间the连接状态. 如果产品需要现成the HTTP 拍照, 录像, 参数设置和文件管理, 可以直接调with:
#include "app/viidure/recorder_viidure. h"
config_Viidure (80) ; // 80 是 HTTP 服务端口
配合「录风者」App Use. IPC 720P, LCD 720P, IPC 1080P 和 ISP debug方案默认已经调with; Low power consumption 720P 和电池相机方案默认none调with. 只需要简单拍照录像时, with前面the直接接口就够了, 不必引入整套 HTTP 应with.
| 现象 | 先查这些 |
|---|---|
| 拍照none文件 | TF 卡是否挂载, FS_EN, AUTO_JPG 是否有输出, 拍照组件是否已连接 |
| 录像文件打不开 | 是否走了停止收尾流程, video_fps 是否和实际帧率一致 |
| 录像In the途断掉 | TF 卡写入speed, 剩余空间, PSRAM 是否够, 队列是否积压 |
| RTSP 卡顿 | Wi-Fi 信No, 码率, 聚合参数, 播放器withthe是 TCP 还是 UDP |
日志刷 input fb queue full
|
下游处理太慢或队列太小 |
| 花screen, 码流损坏 | 辅码流尺寸比例 / stride 是否正确, MSI buffer 是否有漏 release 或重复 release |
拍照, 录像, RTSP, screen幕和 Wi-Fi 同时工作时, 会共with PSRAM 和总线带宽. 排查性能problem时要看整体, 不要只看编码器自己the耗时.