攝像頭出圖之後,最常用的三件事就是拍照、錄像、RTSP 實時預覽。TXW82x SDK 已經把這三樣做成了現成的組件,在參考方案上調幾個接口就能用。這篇講清楚數據怎麼流、接口怎麼調、出問題查哪裡。
內容整理自泰芯《TXW82x SDK 視頻應用功能使用說明》(適用 v2.7.1.7)和《TXW82x_FPV_SDK 開發文檔》。
TXW82x 的視頻鏈路是:
Sensor → MIPI CSI → ISP → VPP → H.264 / JPEG 編碼 → 拍照、錄像、RTSP、屏幕
把這些模塊串起來的是 SDK 的 MSI 媒體流框架:每個模塊是一個組件,上遊產出帧,下遊消費帧,組件之間用 msi_add_output() 連起來。編碼器輸出有兩個現成的「出口」:
| 出口 | 內容 | 誰來用 |
|---|---|---|
AUTO_H264 |
H.264 碼流 | 錄像、RTSP H.264 |
AUTO_JPG |
JPEG 圖片 | 拍照、RTSP MJPEG |
IPC 720P、IPC 1080P、LCD 720P、ISP 調試這幾個參考方案已經完成了 Sensor、ISP、VPP 和編碼器的初始化,你只需要把自己的組件掛到出口上,不要重複初始化。
拍照和錄像還需要:FS_EN=1、TF 卡已插入並掛載、SD 工作隊列已初始化、音視頻內存(AV SRAM / PSRAM)足夠。
拍照組件掛在 AUTO_JPG 上,每次觸發拍指定張數,拍完自動停止。
#include "app/takephoto_module/takephoto.h"
#include "stream_define.h"
struct msi *photo_msi = new_takephoto_msi(FRAMEBUFF_SOURCE_CAMERA0, FSTYPE_NONE);
if (photo_msi) {
msi_add_output(NULL, AUTO_JPG, photo_msi, NULL);
}
// 拍 1 張(第三個參數是張數,填 2 就是連拍 2 張)
msi_do_cmd(photo_msi, MSI_CMD_START, 1, 0);
IMG 目錄,同時生成一張 320×240 的縮略圖放在 thumb 目錄。/sd0/IMG/...。msi_del_output() 斷開,再 msi_destroy() 釋放。錄像組件接在 H.264 碼流後面,支持 MP4 和 AVI 兩種格式。
#include "app/video_record/video_record.h"
#include "stream_define.h"
struct video_record_cfg cfg = {
.name = "customer_rec", // 組件名,必須唯一
.srcID = FRAMEBUFF_SOURCE_CAMERA0,
.filter = FSTYPE_H264_VPP_DATA0, // 選主碼流還是副碼流
.rec_time = 1, // 單個文件時長,單位分鐘
.audio_en = 0, // 1 = 同時錄音頻
.mode = MP4_MODE_NORMAL, // 普通 / 縮時 / 事件錄像
.video_fps = 25, // 必須等於實際 H.264 帧率
.file_process = NULL,
};
struct msi *h264_msi = msi_find(AUTO_H264, 1);
struct msi *record_msi = mp4_record_msi_init(&cfg); // AVI 用 avi_record_msi_init()
if (h264_msi && record_msi) {
msi_add_output(h264_msi, NULL, record_msi, NULL);
}
// 開始錄像
msi_do_cmd(record_msi, MSI_CMD_MEDIA_CTRL, MSI_MEDIA_CTRL_RECORD_START, 0);
需要注意:
video_fps 一定要和實際帧率一致。 1080P 方案的實際帧率可能是 15,不要照抄示例的 25,否則錄出來的視頻播放速度不對。MP4_MAX_SINGLE_SIZE 限制(參考方案是 100MB)。record_msi->enable 置 0,再發 MSI_CMD_PRE_DESTROY 讓組件寫完 MP4 文件尾,然後斷開、銷毀、msi_put(h264_msi)。直接拔卡或斷電,最後一個文件很可能打不開。RTSP 服務由 spook_init() 啟動。參考 IPC 方案已經在 app_user_init() 裡調用過了,不要重複啟動。
| 碼流 | 地址 |
|---|---|
| H.264 | rtsp://<設備IP>:554/h264 |
| MJPEG | rtsp://<設備IP>:554/webcam |
參考 IPC 方案默認推的是 H.264 輔碼流(720P 方案為 640×360),SDK 選型表裡給的地址是 rtsp://<設備IP>:554/h264?1。
設備默認是 AP 模式,IP 為 192.168.1.1。電腦連上設備熱點後,用 VLC「打開網絡串流」輸入 rtsp://192.168.1.1:554/h264 就能看到畫面。用電腦拉流的詳細步驟可以參考 TXW 開發板 RTSP 實時預覽教程。
spook_init() 是否執行過。app_h264_init()、auto_jpg_msi_init())。AUTO_H264 / AUTO_JPG 有沒有數據輸出。msi_dump() 查看組件之間的連接狀態。如果產品需要現成的 HTTP 拍照、錄像、參數設置和文件管理,可以直接調用:
#include "app/viidure/recorder_viidure.h"
config_Viidure(80); // 80 是 HTTP 服務端口
配合「錄風者」App 使用。IPC 720P、LCD 720P、IPC 1080P 和 ISP 調試方案默認已經調用;低功耗 720P 和電池相機方案默認沒有調用。只需要簡單拍照錄像時,用前面的直接接口就夠了,不必引入整套 HTTP 應用。
| 現象 | 先查這些 |
|---|---|
| 拍照沒有文件 | TF 卡是否掛載、FS_EN、AUTO_JPG 是否有輸出、拍照組件是否已連接 |
| 錄像文件打不開 | 是否走了停止收尾流程、video_fps 是否和實際帧率一致 |
| 錄像中途斷掉 | TF 卡寫入速度、剩餘空間、PSRAM 是否夠、隊列是否積壓 |
| RTSP 卡頓 | Wi-Fi 信號、碼率、聚合參數、播放器用的是 TCP 還是 UDP |
日志刷 input fb queue full
|
下遊處理太慢或隊列太小 |
| 花屏、碼流損壞 | 輔碼流尺寸比例 / stride 是否正確,MSI buffer 是否有漏 release 或重複 release |
拍照、錄像、RTSP、屏幕和 Wi-Fi 同時工作時,會共用 PSRAM 和總線帶寬。排查性能問題時要看整體,不要只看編碼器自己的耗時。