我想建立一个opencv系统来处理HLS流或RMTP流,但是,我遇到了一个奇怪的问题,即降低的帧速率和累积的滞后。好像视频从流中应该到的位置越来越远。
我正在寻找一种方法来实时了解实时资源,即使这意味着丢帧。
import cv2
cap = cv2.VideoCapture()
cap.open('https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w1421640637.m3u8')
while (True):
_, frame = cap.read()
cv2.imshow("camCapture", frame)
cv2.waitKey(1)
我已经在VLC上验证了流的质量,并且在此看来效果很好。
。
<< img src =“ https://image.soinside.com/eyJ1cmwiOiAiaHR0cHM6Ly9tZWRpYS5naXBoeS5jb20vbWVkaWEvWTJ6clEwZlVROWp2MDhpb0hpL2dpcGh5LmdpZiJ9” alt =“”>
我的假设是,抖动很可能是由于网络限制所致,并且在丢弃帧数据包时发生。丢帧时,程序将显示最后一个“好”帧,导致显示冻结。这可能是硬件或带宽问题,但我们可以通过软件缓解某些问题。以下是一些可能的更改:
1。设置最大缓冲区大小
我们通过cv2.videoCapture()
参数将cv2.CAP_PROP_BUFFERSIZE
对象设置为具有有限的缓冲区大小。这个想法是通过限制缓冲区,我们将始终拥有最新的帧。这也可以帮助减轻帧随机跳跃的问题。
2。设置帧检索延迟
[目前,我相信read()
即使在其专用线程中也读取速度太快。这可能是所有帧看起来都集中起来并突然在下一帧突然爆发的原因之一。例如,在一秒钟的时间间隔中,它可能会产生15个新帧,但是在接下来的一秒钟的时间间隔中,仅返回3个帧。这可能是由于网络数据包帧丢失所致,因此为了确保获得恒定的帧速率,我们只需在帧检索线程中添加一个延迟即可。延迟以获得大致~30
FPS可以很好地“标准化”帧速率,并在丢包的情况下平滑帧之间的过渡。
注意:我们应该尝试匹配流的帧速率,但是我不确定网络摄像头的FPS是多少,所以我只猜到了30
FPS。另外,通常存在“直接”流链接,而不是通过中间Web服务器,这可以大大提高性能。
如果尝试使用保存的.mp4
视频文件,您会发现没有抖动。这证实了我的怀疑,该问题很可能是由于网络延迟造成的。
from threading import Thread
import cv2, time
class ThreadedCamera(object):
def __init__(self, src=0):
self.capture = cv2.VideoCapture(src)
self.capture.set(cv2.CAP_PROP_BUFFERSIZE, 2)
# FPS = 1/X
# X = desired FPS
self.FPS = 1/30
self.FPS_MS = int(self.FPS * 1000)
# Start frame retrieval thread
self.thread = Thread(target=self.update, args=())
self.thread.daemon = True
self.thread.start()
def update(self):
while True:
if self.capture.isOpened():
(self.status, self.frame) = self.capture.read()
time.sleep(self.FPS)
def show_frame(self):
cv2.imshow('frame', self.frame)
cv2.waitKey(self.FPS_MS)
if __name__ == '__main__':
src = 'https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w1421640637.m3u8'
threaded_camera = ThreadedCamera(src)
while True:
try:
threaded_camera.show_frame()
except AttributeError:
pass
涉及:
import cv2
from threading import Thread
class ThreadedCamera(object):
def __init__(self, source = 0):
self.capture = cv2.VideoCapture(source)
self.thread = Thread(target = self.update, args = ())
self.thread.daemon = True
self.thread.start()
self.status = False
self.frame = None
def update(self):
while True:
if self.capture.isOpened():
(self.status, self.frame) = self.capture.read()
def grab_frame(self):
if self.status:
return self.frame
return None
if __name__ == '__main__':
stream_link = "https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w1421640637.m3u8"
streamer = ThreadedCamera(stream_link)
while True:
frame = streamer.grab_frame()
if frame is not None:
cv2.imshow("Context", frame)
cv2.waitKey(1)
。
流式传输有效。它保持实时。但是,好像所有帧都聚集在一起并突然进入视频中。我想有人解释一下。
实时流可以在这里找到。
https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet
[此网站已使用python的m3u8
流抓取工具抓取到streamlink
。
import streamlink
streams = streamlink.streams("https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet")
print(streams)
其中:
OrderedDict([
('720p',<HLSStream('https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w202109066.m3u8')>),
('live', <RTMPStream({'rtmp': 'rtmp://videos3.earthcam.com/fecnetwork/', 'playpath': '9974.flv', 'pageUrl': 'https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet','swfUrl': 'http://static.earthcam.com/swf/streaming/stream_viewer_v3.swf', 'live': 'true'}, redirect=False>),
('worst', <HLSStream('https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w202109066.m3u8')>),
('best', <RTMPStream({'rtmp': 'rtmp://videos3.earthcam.com/fecnetwork/', 'playpath': '9974.flv', 'pageUrl': 'https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet', 'swfUrl': 'http://static.earthcam.com/swf/streaming/stream_viewer_v3.swf', 'live': 'true'}, redirect=False>)
])
流被错误读取的可能性。