如何在 C 程序中使用 Gstreamer 在视频中动态添加和删除字幕

Question

对于一个学校项目，我必须用 gstreamer 和 gtk 做一个视频阅读器，没有 playbin2。 在这个阅读器中，我必须在阅读视频时添加和删除字幕。

目前我使用decodebin 播放所有格式但无法添加字幕。 我成功地使用 oggdemux 获得了动态字幕，但此解决方案仅适用于 ogg 格式。所以，我用 decodebin 搜索其他解决方案。

我尝试了很多解决方案：

解码箱和字幕

首先，我尝试将字幕 gstreamer 元素直接添加到视频队列中。我确切地说我的程序在没有字幕 gstreamer 元素的情况下工作（正在播放音频/视频）。

// Creation of many elements of gstreamer
data.pipeline = gst_pipeline_new ("video-player");  
source_media = gst_element_factory_make ("filesrc",     "file-source");    
demuxer  = gst_element_factory_make ("decodebin",   "decodebin");
// AUDIO -----
sink_audio = gst_element_factory_make ("autoaudiosink", "audio-output");
queue_audio = gst_element_factory_make("queue", "thread-audio");

// VIDEO -----
sink_video  = gst_element_factory_make ("autovideosink", "video-output");    
queue_video = gst_element_factory_make("queue", "thread-video");

// SUBTITLE -----    
source_sub = gst_element_factory_make("filesrc", "sub-source");
subparse = gst_element_factory_make("subparse", "subparse");
textoverlay = gst_element_factory_make ("subtitleoverlay", "subtitleoverlay");

g_object_set (G_OBJECT (source_media), "location", argv[1], NULL);

gst_bin_add_many (GST_BIN (data.pipeline),
                     source_media, demuxer,
                     queue_audio, sink_audio,  
                     queue_video, sink_video,
                     source_sub, subparse, textoverlay, 
                     NULL);

gst_element_link (source_media, demuxer);            
gst_element_link_many (queue_audio, sink_audio, NULL);
g_signal_connect (demuxer, "pad-added", G_CALLBACK (on_pad_added), queue_audio);
gst_element_link_many (queue_video, textoverlay, sink_video, NULL);
g_signal_connect (demuxer, "pad-added", G_CALLBACK (on_pad_added), queue_video);    
gst_element_link_many (source_sub, subparse, textoverlay, NULL);

新的字幕管道

其次，我尝试创建另一个仅包含字幕 gstreamer 元素的管道

// Creation of many elements of gstreamer
data.pipeline = gst_pipeline_new ("video-player");  
date.subtitle = gst_pipeline_new ("subtitles");
source_media = gst_element_factory_make ("filesrc",     "file-source");    
demuxer  = gst_element_factory_make ("decodebin",   "decodebin");
// AUDIO -----
sink_audio = gst_element_factory_make ("autoaudiosink", "audio-output");
queue_audio = gst_element_factory_make("queue", "thread-audio");

// VIDEO -----
sink_video  = gst_element_factory_make ("autovideosink", "video-output");    
queue_video = gst_element_factory_make("queue", "thread-video");

// SUBTITLE -----    
source_sub = gst_element_factory_make("filesrc", "sub-source");
subparse = gst_element_factory_make("subparse", "subparse");
textoverlay = gst_element_factory_make ("subtitleoverlay", "subtitleoverlay");

g_object_set (G_OBJECT (source_media), "location", argv[1], NULL);
g_object_set (G_OBJECT (source_sub), "location", argv[2], NULL);

gst_bin_add_many (GST_BIN (data.pipeline),
                     source_media, demuxer,
                     queue_audio, sink_audio,  
                     queue_video, sink_video, NULL);

gst_bin_add_many(GST_BIN (data.subtitle),
                 source_sub, subparse, textoverlay,
                 NULL);

gst_element_link (source_media, demuxer);  
gst_element_link (source_sub, subparse);

gst_element_link_many (queue_audio, sink_audio, NULL);
g_signal_connect (demuxer, "pad-added", G_CALLBACK (on_pad_added), queue_audio);
gst_element_link_many (queue_video, textoverlay, sink_video, NULL);
g_signal_connect (demuxer, "pad-added", G_CALLBACK (on_pad_added), queue_video);    
gst_element_link_many (source_sub, subparse, textoverlay, NULL);

if (gst_element_link_pads(subparse, "src", textoverlay, "subtitle-sink")) {
    perror("***error: Pads couldn't be linked\n");
}

Answer 1

你只需要添加：

g_object_set (G_OBJECT (source_sub), "location", argv[2], NULL);

在您的第一个解决方案中，它应该可以工作（除非您不提供字幕，在这种情况下，您应该检查它们是否存在并链接/取消链接元素）。

然后要在播放期间激活/停用字幕，您必须使用 subtitleoverlay 中的“静音”属性播放。

祝你好运！