到目前为止，我已经成功运行了以下示例：
WebRTC native c++ to browser video streaming example
该示例展示了如何将视频从本机 C++ 应用程序 (peerconnection_client.exe) 流式传输到浏览器（我使用的是 Chrome）。这工作正常，我可以在浏览器中看到自己。
我想做的是将音频从浏览器流式传输到本机应用程序，但我不确定如何。谁能给我一些建议吗？
【问题讨论】：
标签： javascript c++ audio webrtc
我正在尝试找到一种将视频和音频从浏览器流式传输到我的本机程序的方法。到目前为止，这是我的方式。
要在没有 gui 的情况下将视频从浏览器流式传输到您的本机程序，只需按照此处的示例进行操作。 https://chromium.googlesource.com/external/webrtc/+/refs/heads/master/examples/peerconnection/client/
使用AddOrUpdateSink 添加您自己的VideoSinkInterface，您将在回调void OnFrame(const cricket::VideoFrame& frame) 中收到您的帧数据。无需像示例那样将框架渲染到 GUI，您可以做任何您想做的事情。
无需真正的音频设备即可将音频从浏览器流式传输到您的本机程序。您可以使用假音频设备。
rtc_use_dummy_audio_file_devices修改为true
webrtc::FileAudioDeviceFactory::SetFilenamesToUse("", "file_to_save_audio");
file_audio_device.cc 代码自爆。 （在我写这个答案时，FileAudioDevice 有一些问题，可能已经修复）touch file_to_save_audio，webrtc连接建立后你会在file_to_save_audio看到pcm数据。补丁：
diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.cc b/webrtc/modules/audio_device/dummy/file_audio_device.cc
index 8b3fa5e..2717cda 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.cc
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.cc
@@ -35,6 +35,7 @@ FileAudioDevice::FileAudioDevice(const int32_t id,
_recordingBufferSizeIn10MS(0),
_recordingFramesIn10MS(0),
_playoutFramesIn10MS(0),
+ _initialized(false),
_playing(false),
_recording(false),
_lastCallPlayoutMillis(0),
@@ -135,12 +136,13 @@ int32_t FileAudioDevice::InitPlayout() {
// Update webrtc audio buffer with the selected parameters
_ptrAudioBuffer->SetPlayoutSampleRate(kPlayoutFixedSampleRate);
_ptrAudioBuffer->SetPlayoutChannels(kPlayoutNumChannels);
+ _initialized = true;
}
return 0;
}
bool FileAudioDevice::PlayoutIsInitialized() const {
- return true;
+ return _initialized;
}
int32_t FileAudioDevice::RecordingIsAvailable(bool& available) {
@@ -236,7 +238,7 @@ int32_t FileAudioDevice::StopPlayout() {
}
bool FileAudioDevice::Playing() const {
- return true;
+ return _playing;
}
int32_t FileAudioDevice::StartRecording() {
diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.h b/webrtc/modules/audio_device/dummy/file_audio_device.h
index a69b47e..3f3c841 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.h
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.h
@@ -185,6 +185,7 @@ class FileAudioDevice : public AudioDeviceGeneric {
std::unique_ptr<rtc::PlatformThread> _ptrThreadRec;
std::unique_ptr<rtc::PlatformThread> _ptrThreadPlay;
+ bool _initialized;;
bool _playing;
bool _recording;
uint64_t _lastCallPlayoutMillis;
【讨论】：
我知道这是一个老问题，但我目前正在努力寻找解决方案，所以我认为分享是值得的。
有一种或多或少的简单方法可以让示例运行从浏览器流式传输到本机代码。您需要 webrtc 源 http://www.webrtc.org/native-code/development
您需要的两个工具是对等连接服务器和客户端。两者都可以在文件夹 talk/example/peerconnection 中找到
要使其正常工作，您需要对其进行修补以启用对等连接客户端的 DTLS。因此，使用此处提供的补丁https://code.google.com/p/webrtc/issues/detail?id=3872 对其进行修补并重建客户端。现在您已在本机站点上进行设置！
对于浏览器，我推荐从此处https://github.com/GoogleChrome/webrtc 开始的 peer2peer 示例，在启动 peerconnection_server 并连接 peerconnection_client 后尝试连接 peer2peer 示例。
可能需要连接约束：
{
“DtlsSrtpKeyAgreement”：真
}
【讨论】：
您可以使用以下示例来实现 appRTC 的桌面客户端。
https://github.com/TemasysCommunications/appRTCDesk
这完成并与 webrtc.org 上的开源实现提供的 web 客户端、android 客户端和 iOs 客户端互操作，为您提供一整套客户端来使用他们的免费服务器。 peer connection_{client|server} 是 lib jingle time (pre webrtc) 中的一个旧示例，不与其他任何东西互操作。
【讨论】：