如何使用 Python 和 Gstreamer 创建视频缩略图

Question

我想使用 Gstreamer 和 Python 为 MPEG-4 AVC 视频创建缩略图。本质上：

1. 打开视频文件
2. 搜索到某个时间点（例如 5 秒）
3. 当时抢框
4. 将帧作为 .jpg 文件保存到光盘

我一直在查看this other similar question，但我无法完全弄清楚如何在没有用户输入的情况下自动进行搜索和帧捕获。

总而言之，如何按照上述步骤使用 Gstreamer 和 Python 捕获视频缩略图？

Answer 1

为了详细说明ensonic的答案，这里有一个例子：

import os
import sys

import gst

def get_frame(path, offset=5, caps=gst.Caps('image/png')):
    pipeline = gst.parse_launch('playbin2')
    pipeline.props.uri = 'file://' + os.path.abspath(path)
    pipeline.props.audio_sink = gst.element_factory_make('fakesink')
    pipeline.props.video_sink = gst.element_factory_make('fakesink')
    pipeline.set_state(gst.STATE_PAUSED)
    # Wait for state change to finish.
    pipeline.get_state()
    assert pipeline.seek_simple(
        gst.FORMAT_TIME, gst.SEEK_FLAG_FLUSH, offset * gst.SECOND)
    # Wait for seek to finish.
    pipeline.get_state()
    buffer = pipeline.emit('convert-frame', caps)
    pipeline.set_state(gst.STATE_NULL)
    return buffer

def main():
    buf = get_frame(sys.argv[1])

    with file('frame.png', 'w') as fh:
        fh.write(str(buf))

if __name__ == '__main__':
    main()

这会生成一个 PNG 图像。您可以使用gst.Caps("video/x-raw-rgb,bpp=24,depth=24") 或类似的方式获取原始图像数据。

请注意，在 GStreamer 1.0（相对于 0.10）中，playbin2 已重命名为 playbin，convert-frame 信号被命名为 convert-sample。

寻找的机制在this chapter of the GStreamer Application Development Manual 中有解释。 0.10 playbin2 的文档似乎不再在线，但 1.0 的文档是 here。

Answer 2

Vala 中的一个示例，使用 GStreamer 1.0 ：

var playbin = Gst.ElementFactory.make ("playbin", null);
playbin.set ("uri", "file:///path/to/file");
// some code here.
var caps = Gst.Caps.from_string("image/png");
Gst.Sample sample;
Signal.emit_by_name(playbin, "convert-sample", caps, out sample);
if(sample == null)
    return;
var sample_caps = sample.get_caps ();
if(sample_caps == null)
    return;
unowned Gst.Structure structure = sample_caps.get_structure(0);
int width = (int)structure.get_value ("width");
int height = (int)structure.get_value ("height");
var memory = sample.get_buffer().get_memory (0);
Gst.MapInfo info;
memory.map (out info, Gst.MapFlags.READ);
uint8[] data = info.data;

Answer 3

这是一个老问题，但我仍然没有在任何地方找到它的记录。
我发现以下内容适用于使用 Gstreamer 1.0 播放的视频

import gi
import time
gi.require_version('Gst', '1.0')
from gi.repository import Gst

def get_frame():
    caps = Gst.Caps('image/png')
    pipeline = Gst.ElementFactory.make("playbin", "playbin")
    pipeline.set_property('uri','file:///home/rolf/GWPE.mp4')
    pipeline.set_state(Gst.State.PLAYING)
    #Allow time for it to start
    time.sleep(0.5)
    # jump 30 seconds
    seek_time = 30 * Gst.SECOND
    pipeline.seek(1.0, Gst.Format.TIME,(Gst.SeekFlags.FLUSH | Gst.SeekFlags.ACCURATE),Gst.SeekType.SET, seek_time , Gst.SeekType.NONE, -1)

    #Allow video to run to prove it's working, then take snapshot
    time.sleep(1)
    buffer = pipeline.emit('convert-sample', caps)
    buff = buffer.get_buffer()
    result, map = buff.map(Gst.MapFlags.READ)
    if result:
        data = map.data
        pipeline.set_state(Gst.State.NULL)
        return data
    else:
        return

if __name__ == '__main__':
    Gst.init(None)
    image = get_frame()
    with open('frame.png', 'wb') as snapshot:
        snapshot.write(image)

代码应该在 Python2 和 Python3 上运行，我希望它对某人有所帮助。

Answer 4

使用 playbin2。将 uri 设置为媒体文件，使用 gst_element_seek_simple 寻找所需的时间位置，然后使用 g_signal_emit 调用“convert-frame”动作信号。