TXW82x 錄像、拍照與 RTSP 圖傳:H.264 碼流和 MSI 組件用法

發布於 2026-11-08 22:00:10

攝像頭出圖之後,最常用的三件事就是拍照、錄像、RTSP 實時預覽。TXW82x SDK 已經把這三樣做成了現成的組件,在參考方案上調幾個接口就能用。這篇講清楚數據怎麼流、接口怎麼調、出問題查哪裡。

內容整理自泰芯《TXW82x SDK 視頻應用功能使用說明》(適用 v2.7.1.7)和《TXW82x_FPV_SDK 開發文檔》。

一、先理解數據流和 MSI

TXW82x 的視頻鏈路是:

Sensor → MIPI CSI → ISP → VPP → H.264 / JPEG 編碼 → 拍照、錄像、RTSP、屏幕

把這些模塊串起來的是 SDK 的 MSI 媒體流框架:每個模塊是一個組件,上遊產出帧,下遊消費帧,組件之間用 msi_add_output() 連起來。編碼器輸出有兩個現成的「出口」:

出口 內容 誰來用
AUTO_H264 H.264 碼流 錄像、RTSP H.264
AUTO_JPG JPEG 圖片 拍照、RTSP MJPEG

IPC 720P、IPC 1080P、LCD 720P、ISP 調試這幾個參考方案已經完成了 Sensor、ISP、VPP 和編碼器的初始化,你只需要把自己的組件掛到出口上,不要重複初始化。

拍照和錄像還需要:FS_EN=1、TF 卡已插入並掛載、SD 工作隊列已初始化、音視頻內存(AV SRAM / PSRAM)足夠。

二、拍照

拍照組件掛在 AUTO_JPG 上,每次觸發拍指定張數,拍完自動停止。

#include "app/takephoto_module/takephoto.h"
#include "stream_define.h"

struct msi *photo_msi = new_takephoto_msi(FRAMEBUFF_SOURCE_CAMERA0, FSTYPE_NONE);
if (photo_msi) {
    msi_add_output(NULL, AUTO_JPG, photo_msi, NULL);
}

// 拍 1 張(第三個參數是張數,填 2 就是連拍 2 張)
msi_do_cmd(photo_msi, MSI_CMD_START, 1, 0);
  • 原圖存在 TF 卡 IMG 目錄,同時生成一張 320×240 的縮略圖放在 thumb 目錄。
  • 自己讀文件時建議用 VFS 路徑,如 /sd0/IMG/...。
  • 不用時先 msi_del_output() 斷開,再 msi_destroy() 釋放。

三、錄像

錄像組件接在 H.264 碼流後面,支持 MP4 和 AVI 兩種格式。

#include "app/video_record/video_record.h"
#include "stream_define.h"

struct video_record_cfg cfg = {
    .name       = "customer_rec",          // 組件名,必須唯一
    .srcID      = FRAMEBUFF_SOURCE_CAMERA0,
    .filter     = FSTYPE_H264_VPP_DATA0,   // 選主碼流還是副碼流
    .rec_time   = 1,                       // 單個文件時長,單位分鐘
    .audio_en   = 0,                       // 1 = 同時錄音頻
    .mode       = MP4_MODE_NORMAL,         // 普通 / 縮時 / 事件錄像
    .video_fps  = 25,                      // 必須等於實際 H.264 帧率
    .file_process = NULL,
};

struct msi *h264_msi   = msi_find(AUTO_H264, 1);
struct msi *record_msi = mp4_record_msi_init(&cfg);   // AVI 用 avi_record_msi_init()
if (h264_msi && record_msi) {
    msi_add_output(h264_msi, NULL, record_msi, NULL);
}

// 開始錄像
msi_do_cmd(record_msi, MSI_CMD_MEDIA_CTRL, MSI_MEDIA_CTRL_RECORD_START, 0);

需要注意:

  • video_fps 一定要和實際帧率一致。 1080P 方案的實際帧率可能是 15,不要照抄示例的 25,否則錄出來的視頻播放速度不對。
  • 單個文件的大小還受 MP4_MAX_SINGLE_SIZE 限制(參考方案是 100MB)。
  • 停止錄像要走收尾流程:先把 record_msi->enable 置 0,再發 MSI_CMD_PRE_DESTROY 讓組件寫完 MP4 文件尾,然後斷開、銷毀、msi_put(h264_msi)。直接拔卡或斷電,最後一個文件很可能打不開。
  • 產品要考慮掉電、拔卡:建議分段錄制、檢查每次寫卡的返回值,並用不同容量和速度等級的卡實測。

四、RTSP 實時預覽

RTSP 服務由 spook_init() 啟動。參考 IPC 方案已經在 app_user_init() 裡調用過了,不要重複啟動。

碼流 地址
H.264 rtsp://<設備IP>:554/h264
MJPEG rtsp://<設備IP>:554/webcam

參考 IPC 方案默認推的是 H.264 輔碼流(720P 方案為 640×360),SDK 選型表裡給的地址是 rtsp://<設備IP>:554/h264?1。

設備默認是 AP 模式,IP 為 192.168.1.1。電腦連上設備熱點後,用 VLC「打開網絡串流」輸入 rtsp://192.168.1.1:554/h264 就能看到畫面。用電腦拉流的詳細步驟可以參考 TXW 開發板 RTSP 實時預覽教程。

沒畫面怎麼查

  1. 設備和電腦網絡是否互通(能 ping 通設備 IP)。
  2. spook_init() 是否執行過。
  3. H.264 或 JPEG 編碼鏈是否初始化(app_h264_init()、auto_jpg_msi_init())。
  4. AUTO_H264 / AUTO_JPG 有沒有數據輸出。
  5. 調用 msi_dump() 查看組件之間的連接狀態。

五、要整套 App 功能:用「錄風者」

如果產品需要現成的 HTTP 拍照、錄像、參數設置和文件管理,可以直接調用:

#include "app/viidure/recorder_viidure.h"
config_Viidure(80);   // 80 是 HTTP 服務端口

配合「錄風者」App 使用。IPC 720P、LCD 720P、IPC 1080P 和 ISP 調試方案默認已經調用;低功耗 720P 和電池相機方案默認沒有調用。只需要簡單拍照錄像時,用前面的直接接口就夠了,不必引入整套 HTTP 應用。

六、常見問題

現象 先查這些
拍照沒有文件 TF 卡是否掛載、FS_EN、AUTO_JPG 是否有輸出、拍照組件是否已連接
錄像文件打不開 是否走了停止收尾流程、video_fps 是否和實際帧率一致
錄像中途斷掉 TF 卡寫入速度、剩餘空間、PSRAM 是否夠、隊列是否積壓
RTSP 卡頓 Wi-Fi 信號、碼率、聚合參數、播放器用的是 TCP 還是 UDP
日志刷 input fb queue full 下遊處理太慢或隊列太小
花屏、碼流損壞 輔碼流尺寸比例 / stride 是否正確,MSI buffer 是否有漏 release 或重複 release
拍照、錄像、RTSP、屏幕和 Wi-Fi 同時工作時,會共用 PSRAM 和總線帶寬。排查性能問題時要看整體,不要只看編碼器自己的耗時。

相關閱讀

參考資料

0 條評論

AI
問答

發布
問題