有人知道是否可以将帧缓冲区从广播上传扩展上传到主机应用程序，或者我应该将它们直接加载到后端？我的目标是从重播工具包中截取帧缓冲区，将它们发送到我的应用程序并使用 Webrtc 通过我的应用程序广播视频。 将不胜感激任何帮助。提前致谢。
【问题讨论】：
标签： ios upload webrtc broadcast replaykit
广播开始时仅加载广播上传扩展和广播 UI 扩展。据我所知，没有任何程序化方式可以启动您的主机应用程序并在后台将任何数据流式传输到它。
但是您可以在广播上传扩展中实现整个逻辑。您的RPBroadcastSampleHandler 实现由视频CMSampleBuffers 提供。所有后处理和上传逻辑都取决于实现。因此，您可以解压缩和处理帧，然后以任何合适的方式上传到您的服务器。如果您需要任何配置或授权详细信息，您只需在广播 UI 扩展甚至您的主机应用程序中设置它们，然后将它们存储在共享存储中。
在互联网和 Apple 文档中没有太多关于它的信息。但您仍然可以：
Go Live with ReplayKit
RPBroadcastSampleHandler 文档【讨论】：
我对@987654321@ 和 webRTC 组合进行了完全相同的尝试。 iOS 上 webRTC 的根本问题，webRTC 进入后台时无法处理视频流。所以..当您的视频聊天应用程序处于前台时，您可以将应用程序的屏幕视频流流式传输到 webRTC，但是要流式传输其他应用程序，当您的应用程序进入后台时，您可能无法处理视频流，而只能处理 webRTC 上的语音。
您最好从上传扩展将其上传到服务器，我已经浪费了太多时间将上传扩展连接到主机应用程序.. 绝对无法控制上传扩展。
【讨论】：
我有一些代码给你，我已经在我的项目中实现了它并在 google-groups 上讨论了它： https://groups.google.com/d/msg/discuss-webrtc/jAHCnB12khE/zJEu1vyUAgAJ
我会在这里为下一代转移代码：
首先，我在广播扩展中创建了额外的类来管理 WebRTC 相关代码并将其称为 PeerManager。
使用本地流设置视频轨道，小心，你应该这样做 在生成本地报价之前。
private func setupVideoStreaming() {
localStream = webRTCPeer.peerConnectionFactory.mediaStream(withStreamId: "\(personID)_screen_sharing")
videoSource = webRTCPeer.peerConnectionFactory.videoSource()
videoCapturer = RTCVideoCapturer(delegate: videoSource)
videoSource.adaptOutputFormat(toWidth: 441, height: 736, fps: 15)
let videoTrack = webRTCPeer.peerConnectionFactory.videoTrack(with: videoSource, trackId: "screen_share_track_id")
videoTrack.isEnabled = true
localStream.addVideoTrack(videoTrack)
for localStream in webRTCPeer.localPeerConnection.peerConnection.localStreams {
webRTCPeer.localPeerConnection.peerConnection.remove(localStream)
}
webRTCPeer.localPeerConnection.peerConnection.add(localStream)
}
我从为我提供 CMSampleBuffer 的系统收到回调，我将其转换为 RTCVideoFrame 并发送到 videoSource（模拟 视频捕捉器）
override func processSampleBuffer(_ sampleBuffer: CMSampleBuffer, with sampleBufferType: RPSampleBufferType) {
switch sampleBufferType {
case RPSampleBufferType.video:
// Handle video sample buffer
guard peerManager != nil, let imageBuffer: CVImageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {
break
}
let pixelFormat = CVPixelBufferGetPixelFormatType(imageBuffer) // kCVPixelFormatType_420YpCbCr8BiPlanarFullRange
let timeStampNs: Int64 = Int64(CMTimeGetSeconds(CMSampleBufferGetPresentationTimeStamp(sampleBuffer)) * 1000000000)
let rtcPixlBuffer = RTCCVPixelBuffer(pixelBuffer: imageBuffer)
let rtcVideoFrame = RTCVideoFrame(buffer: rtcPixlBuffer, rotation: ._0, timeStampNs: timeStampNs)
peerManager.push(videoFrame: rtcVideoFrame)
case RPSampleBufferType.audioApp:
break
case RPSampleBufferType.audioMic:
break
}
}
来自 peerManager 的代码，它是来自的推送功能的实现 上面的代码。这里没什么奇怪的，我们使用 Capturer 来模拟 Capturer 的行为 委托。
func push(videoFrame: RTCVideoFrame) {
guard isConnected, videoCapturer != nil, isProcessed else {
return
}
videoSource.capturer(videoCapturer, didCapture: videoFrame)
}
现在您已准备好生成本地报价、发送和传输任何您想要的数据。尝试检查您的本地报价，如果您做的一切正确，您应该会在报价中看到 a=sendonly。
附：按照VladimirTechMan的建议，您也可以在 AppRTCMobile 演示应用中查看广播扩展的示例代码。我为您找到了链接，它是 Objective-C 示例 https://webrtc.googlesource.com/src/+/358f2e076051d28b012529d3ae6a080838d27209 您应该对 ARDBroadcastSampleHandler.m/.h 和 ARDExternalSampleCapturer.m/.h 文件感兴趣。 千万不要忘记，你可以按照https://webrtc.org/native-code/ios/的指令自己搭建
【讨论】：