将模型与数据预处理步骤集成

Question

这可能是一个愚蠢的想法，但如果我采取了错误的方法，请多多包涵并指导我。 我正在研究一个机器学习项目，其模型将提供最终输出，ML 模型的输出将由另一个用 java 编写和维护的项目使用。

一个典型的REST调用流程如下：

---

1. 用户在 UI 上请求一些分类分数。
2. UI 系统调用 Java API。
3. Java API 从存储系统获取数据。
4. 然后它预处理数据并将其呈现给完全用 Python 编写、开发和训练的训练模型。

问题：在制作 ML 模型时，我们有用 Python 编写的预处理步骤，数据进入并进行预处理，然后开始模型训练。 在这个模型被持久化到java可以使用它进行实时预测的位置之后。

思考：是否可以将模型的预处理步骤包装为一个包。 这样在java端就可以避免预处理？

我希望得到您对此的所有意见，以便更好地处理这种情况。 我不想在两个地方（Python 和 Java）编写和维护特征工程/预处理步骤。

请指导。

Answer 1

可以使用TensorFlow for Java 将预处理步骤模型封装到一个包中，这是一种可以补充python 模型的机器学习模型。 考虑到您已将 Java API 连接到 UI 和系统存储，无需重写它们，或者您可以重复使用，因此可以节省时间。

• 使用 maven 项目构建您的项目

• 导入相关库，例如 Spring RESTful webservice、Spring JPA Data、Spring Thymeleaf / Angular (UI) 和 ML 模型的张量流库

    <dependency>
       <groupId>org.tensorflow</groupId>
       <artifactId>tensorflow</artifactId>
       <version>1.12.0</version>
    </dependency>

我希望这对你有用。