转到后台并返回前台后无法继续从 AVAssetReaderOutput 读取

Question

我正在使用 AVAssetReaderOutput 从 AVAsset 读取样本，对它们进行一些处理，然后使用 RemoteIO AU 播放结果。

问题是在调用AudioOutputUnitStop暂停播放后，再到后台再回到前台后，调用AudioOutputUnitStart后音频就不会再开始播放了。这是由于 AVAssetReaderOutput 的 copyNextSampleBuffer 方法返回的错误，该方法作为渲染管道的一部分调用。

调用copyNextSampleBuffer后AVAssetReader的status属性为AVAssetReaderStatusFailed，其error属性为Error Domain=AVFoundationErrorDomain Code=-11847 "Operation Interrupted" UserInfo=0x1d8b6100 {NSLocalizedRecoverySuggestion=停止其他操作并重试。, NSLocalizedDescription=Operation Interrupted}

我正在寻找一种解决方案，它不会迫使我在回到前台后重新初始化整个管道 - 希望有这样的解决方案，AVAssetReaders 可以在应用程序进入后台并返回时存活下来。 ..

注意事项

• 应用有权在后台播放音频。
• 我正在处理音频中断 - 在 AVAudioSessionDelegates endInterruptionWithFlags: 事件和应用程序激活时将我的 AVAudioSession 设置为活动的。无论我是否这样做都没有区别，都会出现同样的错误。

一些代码：

音频播放器

@implementation AudioPlayer
    ...
// Audio Unit Setup
AudioComponentDescription desc;
desc.componentType = kAudioUnitType_Output;
desc.componentSubType = kAudioUnitSubType_RemoteIO;
desc.componentManufacturer = kAudioUnitManufacturer_Apple;
desc.componentFlags = 0;
desc.componentFlagsMask = 0;

AudioComponent defaultOutput = AudioComponentFindNext(NULL, &desc);

AudioComponentInstanceNew(defaultOutput, &_audioUnit);

AudioStreamBasicDescription audioFormat;
    FillOutASBDForLPCM(audioFormat, 44100, 2, 16, 16, false, false);

AudioUnitSetProperty(self.audioUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Input, kOutputBus, &audioFormat, sizeof(audioFormat));

AURenderCallbackStruct callbackStruct;
callbackStruct.inputProc = RenderCallback;
callbackStruct.inputProcRefCon = (__bridge void*)self;
AudioUnitSetProperty(self.audioUnit, kAudioUnitProperty_SetRenderCallback, kAudioUnitScope_Input, kOutputBus, &callbackStruct, sizeof(callbackStruct));

AudioUnitInitialize(self.audioUnit);

AudioReader 设置

@implementation AudioReader
    ...
NSError* error = nil;
self.reader = [AVAssetReader assetReaderWithAsset:self.asset error:&error];
NSDictionary *outputSettings = ...
self.readerOutput = [AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:[self.asset.tracks objectAtIndex:0] outputSettings:outputSettings];
[self.reader addOutput:self.readerOutput];
[self.reader startReading];

AudioReader 渲染方法，最终由 RenderCallback 函数调用

-(BOOL)readChunkIntoBuffer
{
     CMSampleBufferRef sampleBuffer = [self.readerOutput copyNextSampleBuffer];
     if ( sampleBuffer == NULL )
     {
         NSLog(@"Couldn't copy next sample buffer, reader status=%d error=%@, self.reader.status, self.reader.error);
         return NO;
     }
 ...
}

Answer 1

图表和 AVReader 基础没有连接/链接。混乱可能来自如果 iOS 看到音频图正在运行，它不会“后台”（休眠）进程（因为这样就无法生成音频数据）。这就是为什么当您停止音频图时，2-3 分钟后，iOS 将后台处理您的进程（从 iOS 9 开始）。据推测，iOS 会查看您的进程中发生的情况并决定何时应该强制您的进程进入后台（通过beginBackgroundTaskWithName:expirationHandler）。

Apple 开发人员出于某种原因决定让 AVReader 在进入后台模式时停止（我的最佳猜测是 QA）。好消息是，当您的进程退出后台模式时，您可以检测到它并恢复，但您需要再次重新启动阅读器和 readerOutput。首先，当 AVAssetReaderOutput 的 copyNextSampleBuffer 返回 NULL 时，检查 AVAssetReader.error.code 是否为 AVErrorOperationInterrupted。

我们在这里实现无缝恢复的方式是，当我们到达那个点时，我们首先计算我们停止的确切时间（很容易做到 - 只需维护一个已输出样本总数的计数器）。然后，您将需要重新启动 AVAssetReader 和 AVAssetReaderOutput 流程。但这没有问题，因为您的良好开发实践会将其封装在一个以寻道时间作为参数的函数中。在该函数中，使用AVAssetReader.timeRange 查找您需要恢复的时间并提前！

Answer 2

我会尝试的第一件事是：

没有打电话给AudioOutputUnitStop？你为什么不让图表运行，当音频暂停时根本不调用

[self.readerOutput copyNextSampleBuffer]

而只是用 0 填充缓冲区和/或对缓冲区使用 kAudioUnitRenderAction_OutputIsSilence 的渲染操作。启动和停止图表需要时间并导致图表无响应。当我的应用程序运行时，我从不停止图表。 （除非发生一些严重的中断）这可能会让资产阅读者感到高兴。

但我有一种预感，因为 AVAssetReader 没有直接连接到音频图（您只是碰巧请求样本并将它们放在渲染回调提供的缓冲区中）问题不在于音频图完全停止并重新启动。因此，我将尝试的下一条攻击线是从 AVAsset 请求样本，将应用程序置于后台并将其带回前台根本不使用 AUGraph。这将确定问题是否与AUGraph 或应用程序进入后台状态有关。

如果发生某些事情迫使您拆除 AVAssetReader，您将不得不重新连接到资产。因此，当您必须编写另一个代码时，我会考虑的选项是您不想做的那个。重新连接到AVAssetReader，寻找您离开的位置并继续前进。