如何将预训练的张量流模型加载和预测到 Java 代码中？

Question

我不确定将预训练的 keras 模型加载到 Java 代码中的常见做法是什么？

我看到了deeplearning4j 和Google's native Java support。

令人惊讶的是，谷歌说：

注意：TensorFlow Java API 不在 TensorFlow API 稳定性保证范围内。

我真的很困惑，这里发生了什么以及在选择 TensorFlow Java 引擎之前我需要考虑什么。显然我想支持最新的 CUDA/cuDNN。我的应用程序在 PC 上运行，它不是移动应用程序。

Answer 1

您可以按照以下步骤操作：

1. 您可以使用 TensorFlow Lite 或 TensorFlow Mobile。推荐使用 TensorFlow Lite。访问here。
2. TensorFlow Lite 具有 gradle 和 maven 依赖项，这在 Android 和 java 中很有用。
3. 要将您的 python 模型转换为 TF Lite 文件，请使用此 notebook 中的函数
4. 它可以对您在 python 中训练的模型进行推理。但是，TF Lite 在 LSTM 单元和 BatchNormalization 层方面存在问题。