Google Meet 背景模糊答案

【问题标题】：Google Meet background BlurGoogle Meet 背景模糊
【发布时间】：2021-01-15 04:04:36
【问题描述】：

我很好奇 Google Meet 的新“开启/关闭”background blur functionality（目前正在测试中）。我调查了一下，似乎它使用的是 Tensorflow Lite 模型：

segm_heavy.tflite
segm_lite.tflite

通过WASM

mediapipe_wasm_simd.wasm

而模型图应该是

background_blur_graph.binarypb

据我所知，该模型似乎在HTMLCanvasElement 级别上有效。有人知道类似的模型吗？

[更新]

感谢Jason Mayes 和Physical Ed 我能够在Google's BodyPix demo 中重现非常接近的背景模糊效果

应用程序的设置显示在控件框中。有一个 backgroundBlurAmount 选项可让您自定义要应用的模糊百分比。

结果几乎接近官方的 Google Meet 应用程序。

【问题讨论】：

我们的 Bodypix 模型可以让您分割人体并模糊背景。 github.com/tensorflow/tfjs-models/tree/master/body-pix
@JasonMayes 谢谢。我正在查看 Google 的 Media Pipe，它似乎使用 TF lite 并具有人体跟踪功能。这是你指的健全的模型吗？
@loretoparisi 我可以回答，我们正在尝试使用 body-pix。它是一种不同的模型，具有与 mediapipe 不同的功能。它具有出色的界面和非常好的演示。一定要检查一下。
确实如 PysicalEd 所说，Bodypix 是不同的。你可以在这里看到它的演示：github.com/tensorflow/tfjs-models/tree/master/body-pix
@loretoparisi，您的问题解决了吗？如果是这样，为了社区的利益，您能否在答案部分发布解决方案。谢谢！

【解决方案1】：

大多数分割模型会给出 alpha 通道作为结果（有些会给出更多，但 alpha 是最有用的） - 什么被屏蔽，什么不是

所以如果你想模糊背景，这是一个多步骤的过程：

因此，如果您想模糊背景，只需应用模糊，只需从 4 复制画布，在其上应用模糊并在转到步骤 5 之前绘制（如果返回）

关于模型，google meet 还不错，但我使用 google selfie 模型获得了更好的结果
bodypix 是较旧的型号，可配置性很好，但效果不是很好

【讨论】：