【问题标题】:Does tflite version of poseNet model support multiple pose estimation?tflite 版本的poseNet 模型是否支持多姿态估计?
【发布时间】:2021-06-28 22:21:21
【问题描述】:

我试图在 tensorflow 中实现poseNet 模型,以与原生模块(桥接)反应。我指的链接是https://github.com/tensorflow/examples/tree/master/lite/examples/posenet/android

在这我只能找到单姿态估计的方法。在poseNet的tflite版本中,还有其他关于多姿态估计的参考吗? tensorflow lite 是否支持?

提前致谢

【问题讨论】:

  • 您能否发布您的代码以便我们重现问题?
  • 它与正在使用的链接中的相同存储库。我已经更新了链接。我克隆了它并与我的 react native 项目集成。您可以在文件中看到,只定义了 singlePoseEstimation()。

标签: javascript react-native tensorflow kotlin tensorflow2.0


【解决方案1】:

首先我会说,是的,tflite 支持多人姿态估计,但为此你必须使用另一个 tflite 模型,而不是 tensorflowposenet 提出的模型,因为这个模型只支持一个人检测。

我已经使用颤振插件代码在带有 TFlite 的 android (kotlin/java) 中的图像和视频中进行多人检测。该代码在我的 GitHub 存储库中,因为它是一个大代码,我不能在这里发布它。代码可以在这里找到 (https://github.com/stevelaclasse/posenet/blob/main/app/src/main/java/cm/stevru/andropose/inference/DecodePose.java)。 在那里你会看到 multiPoseEstimation() 函数。

我还尝试了另一种使用单人模型进行多姿态估计的方法。我使用了一个人检测器模型来检测图像上的所有人,然后我裁剪每个检测到的人并创建一个只有这个人的新调整大小的图像,我将其发送到一个人的poseEstimation模型。它在好的图像上效果很好,但是只有一个检测到的人的裁剪图像的质量很差,因此poseEstimation 不能检测到图像上的所有姿势,最后只估计图像上的人的几个姿势。这就是我选择多人poseEstimation模型的原因。

您也可以查看此博客https://medium.com/flutter-community/posenet-for-ios-android-and-flutter-using-tensorflow-lite-836788a110c7,以更好地理解代码。

多人姿态估计的颤振插件代码可以在这里找到:https://github.com/shaqian/flutter_tflite/tree/master/android

希望对你或某人有所帮助。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-09-09
    • 1970-01-01
    • 2021-07-22
    • 2014-03-28
    相关资源
    最近更新 更多