用OpenCV和gstreamer显示RTSP流。

Question

我已经购买了一个 网络摄像机 我试图使用RTSP连接到它。RTSP连接的URL是 rtsp://admin:@192.168.0.27/channel=1&stream=0.554. 我正在使用 OpenCV 来打开并显示流。

#include <opencv2/opencv.hpp>

int main() {
   cv::VideoCapture cap;
   if (!cap.open("rtsp://admin:@192.168.0.27/channel=1&stream=0.554")) {
        std::cout << "Unable to open video capture\n";
        return -1;
    }

    while(true) {
        cv::Mat frame;

        auto ret = cap.grab();
        cap >> frame;

        if (frame.empty()) {
            break; // End of video stream
        }

        cv::resize(frame, frame, cv::Size(640, 480));

        // Do other stuff here with frame

        cv::imshow("frame", frame);

        if (cv::waitKey(10) == 27) {
            break; // stop capturing by pressing ESC
        }
    }

    return 0;
}

当我运行程序时，它会成功连接并显示几帧画面， 但随后会开始严重滞后，通常会挂起，并在崩溃前输出一些错误。

[h264 @ 0x558ae8e601a0] error while decoding MB 93 40, bytestream -11

我不知道为什么我有问题 持续显示流。此外，当它能够显示流时，我发现它很快就会变得不同步（注意我正在对帧进行一些重处理，这需要相当多的时间）。就像，它并没有显示真实的时间框架，但有一个越来越大的滞后。

我怎样才能确保使用 "最新 "的帧，并丢弃所有其他可能已经积累在某些缓冲区的帧。另外，有什么想法，为什么它是崩溃的，我如何能改善流媒体？

我能够找到 这个 SO帖子，其中涉及使用gstreamer获得最新的帧。当我修改我的视频采集字符串以利用gstreamer时，效果更好。

以下是修改后的连接字符串，我没有使用gstreamer的经验，所以不知道它是怎么做的。"rtspsrc location=rtsp://admin:@192.168.0.27/channel=1&stream=0.554 ! decodebin ! videoconvert ! appsink max-buffers=1 drop=true"

我没有使用gstreamer的经验，所以我不确定它在做什么，但它似乎改善了一些事情。然而，一旦有一段时间，它就会变灰，只有在有运动时才显示像素，如下图所示。以我对编解码器的经验，我相信参考框架是缺失的，但我并不确定。有什么办法可以解决这个问题吗？如果我没有使用正确的gstreamer参数，请给我一个建议，我应该使用什么快速流媒体（总是使用最新的帧）。正如我所提到的，我对gstreamer的经验很少。谢谢你的帮助

Answer 1

这可能是由于网络传输的数据包丢失造成的。你可以试一试，将URL修改为使用的是 rtspt:// 协议。这将尝试建立一个TCP传输，这应该可以防止你的接收端丢包。

Answer 2

最好的方法是使用线程连续读取帧，并将其分配到一个类的属性上。这样如果某个线程遇到丢包的情况，其他线程好友就会进行补偿。

看看这个，希望对你有帮助。

from threading import Thread
import cv2

class RTSPVideoWriterObject(object):
    def __init__(self, src=0):
        # Create a VideoCapture object
        self.capture = cv2.VideoCapture(src)
        self.status, self.frame = None, None

        # Default resolutions of the frame are obtained (system dependent)
        self.frame_width = int(self.capture.get(3))
        self.frame_height = int(self.capture.get(4))

        # Set up codec and output video settings
        self.codec = cv2.VideoWriter_fourcc(*'MJPG')
        self.output_video = cv2.VideoWriter('output.avi', self.codec, 30, (self.frame_width, self.frame_height))

        # Start the thread to read frames from the video stream
        self.thread = Thread(target=self.update, args=())
        self.thread.daemon = True
        self.thread.start()

    def update(self):
        # Read the next frame from the stream in a different thread
        while True:
            if self.capture.isOpened():
                (self.status, self.frame) = self.capture.read()

    def show_frame(self):
        # Display frames in main program
        # if self.status:
        #     cv2.imshow('frame', self.frame)

        # Press Q on keyboard to stop recording
        key = cv2.waitKey(1)
        if key == ord('q'):
            self.capture.release()
            self.output_video.release()
            cv2.destroyAllWindows()
            exit(1)

    def save_frame(self):
        # Save obtained frame into video output file
        self.output_video.write(self.frame)


if __name__ == '__main__':
    rtsp_link = "rtsp://admin:@192.168.0.27/channel=1&stream=0.554"
    video_stream_widget = RTSPVideoWriterObject(rtsp_stream_link)
    while True:
        try:
            video_stream_widget.show_frame()
            video_stream_widget.save_frame()
        except AttributeError:
            pass