【问题标题】:Gstreamer sender and receiver via UDP/TCP on Jetson TX1Gstreamer 发送器和接收器通过 Jetson TX1 上的 UDP/TCP
【发布时间】:2016-10-19 01:55:44
【问题描述】:

我想在 Jetson TX1 上使用 Gstreamer 通过 UDP 或 TCP 发送和接收视频帧。

看来,我可以发送如下视频帧。

发件人:

gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1024, height=(int)720, format=(string)I420, framerate=(fraction)30/1' !  nvvidconv flip-method=2 ! udpsink host=<BCast IP addr> auto-multicast=true port=8089

接收者:

gst-launch-1.0 -v udpsrc port=8089 ! ... ! nvoverlaysink -e

更新:这看起来不错,但是接收器上仍然是黑框。

 gst-launch-1.0 -v udpsrc port=8089 ! capsfilter caps='video/x-raw(memory:NVMM),width=244,height=244, format=I420, framerate=20/1' ! nvoverlaysink -e

我不知道需要在“接收方”端添加哪些过滤器。 (我尝试了“videoparse”,但出现错误:“videoparse:未找到事件”) 另外,有没有办法使用 python 脚本捕获每个视频帧(图像)? 最终,我想使用 python 脚本以 jpeg 或 png 格式捕获每一帧。 我可以测试接收方是否可以从发送方(视频 src)获取数据,但是仍然存在上述问题。

import socket
import sys
import time

HOST = ''   # Symbolic name meaning all available interfaces
PORT = 8089 # Arbitrary non-privileged port

# Datagram (udp) socket
try :
    s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    print 'Socket created'
except socket.error, msg :
    print 'Failed to create socket. Error Code : ' + str(msg[0]) + ' Message ' + msg[1]
    sys.exit()


# Bind socket to local host and port
try:
    s.bind((HOST, PORT))
except socket.error , msg:
    print 'Bind failed. Error Code : ' + str(msg[0]) + ' Message ' + msg[1]
    sys.exit()

numFrames = 0
while 1:
    # receive data from client (data, addr)
    d = s.recvfrom(4096)
    data = d[0]
    addr = d[1]

    if not data:
        break

    reply = 'OK...' + data

    s.sendto(reply , addr)
    print 'Message[' + addr[0] + ':' + str(addr[1]) + '] - ' + data.strip()

【问题讨论】:

    标签: python gstreamer frames


    【解决方案1】:

    要回答第一个问题,您需要包含另一个 gstreamer 元素 rtpvrawpay 以将数据包编码为适合 udpstreaming 的有效负载。由于 rtpvrawpay 不接受 nvidia 视频,因此更改大小写以强制 nvvidconv 将其转换为普通视频/x-raw。

    gst-launch-1.0 -e nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1024, height=(int)720, format=(string)I420, framerate=(fraction)30/1' !  nvvidconv flip-method=2 ! 'video/x-raw, width=(int)1024, height=(int)720, format=(string)I420, framerate=(fraction)30/1' ! rtpvrawpay ! udpsink host=<BCast IP addr> auto-multicast=true port=8089
    

    这应该会给你一个有效的流。 要支付有效载荷,请尝试:

     gst-launch-1.0 -v udpsrc port=8089 ! rtpvrawdepay ! capsfilter caps='video/x-raw,width=244,height=244, format=I420, framerate=20/1' ! nvoverlaysink -e
    

    请注意,我们不采用 NVMM 格式,仅采用标准视频/x-raw。如果 你会的

     gst-inspect-1.0 nvoverlaysink 
    

    您会看到它接受 NVMM 或标准 x-raw 视频。

    另请参阅此答案.. Stream H.264 video over rtp using gstreamer 以及 ridgerun 管道: https://developer.ridgerun.com/wiki/index.php?title=Gstreamer_pipelines_for_Tegra_X1

    注意,如果您从命令行运行它们,我将 -e 添加到您的 Gstreamer 管道,否则 Ctrl-C 将无法正确关闭流。 你的第二个问题是一个主要的练习。 https://github.com/markw63/pythongst/blob/master/README.md 是使用 appsink 完成此类工作的代码示例。 该代码从摄像头获取视频和音频,但可以轻松地从上述 udpsrc 获取代码,连接到应用程序接收器,然后在每个缓冲区(通常为一帧)上发送消息和数据。 可以设置 Gstreamer 以使用 appsink(示例的第 28 行)将任何流拆分并捕获为单独的 jpeg(或其他),并在 Gstreamer 管道中发布消息元素,每个帧的消息都传递到DBUS (bus_signal_watch) 然后可以隔离帧并传递它们。这个版本需要多线程才能正常工作,如图所示,有两个单独的线程,一个用于 Gstreamer 循环,一个用于 Gobject 循环。

    【讨论】:

      猜你喜欢
      • 2016-02-02
      • 2021-12-14
      • 1970-01-01
      • 1970-01-01
      • 2017-02-23
      • 2012-03-10
      • 2018-05-08
      • 1970-01-01
      • 2015-03-28
      相关资源
      最近更新 更多