VOIP中的语音前处理技术
- 对端数据传输过来，解码。混音、播放。
- 本地讲话、采集、3A前处理、编码，网络传输到对端
- 实现了两端、多端通话
前处理核心算法
-
回声消除
- 房间1 通过自己麦克风采集 传到 房间2
- 房间2 听到了房间1的人话，但是2也会采集到播放出来的1点声音，
- 这样传输到1,1听到了回声。
- 播放信号与采集信号对齐，做AEC
- 全双工
- 同时讲话，都能听到
- 做的不好，只能单工
-
- 对齐后，用自适应滤波器做滤波
- – 智能音箱不需要对齐？
- -手机的播放和采集都有时钟控制，不需要对齐
-
- voip 是从app 拿信号，所以要自己做对齐
-
- 使用采集时间戳做粗对齐
-
- webrtc 根据能量信号做查找对齐
-
- webrtc的不太准，有时候
-
- 所以用指纹对齐，更稳定
自适应滤波器的收敛速度
- 双讲判断? 导致发散
- 现在控制步长/因子，不会发散
- 自适应滤波器后面加一个NLP处理
- 双讲通透性
-
-
– 手机俩麦克风是用来降噪的
-
语音降噪 ANC
- 单通道
- 时域变换到频域
- 噪声估计方法
– - 倾向于 能量最小值 追踪 ，最简单
–
-
- 找不同，与语音信号的不同
– webrtc只降高频，webrtc又拖尾
– 解决拖尾
-
– - 瞬时噪声
- 单声道降噪
- 要控制麦克风的增强
–
- AGC 的数字部分