集成外部程序

Question

因此，我的任务是将一个名为“lightSIDE”的程序集成到一个 hadoop 作业中，但我在弄清楚如何去做时遇到了一些麻烦。

因此，从本质上讲，lightSIDE 不是单个 JAR，而是作为一个完整目录出现，包括对其运行至关重要的 xml 文件。

到目前为止，我团队中的数据科学家一直在使用这个程序的方式是运行一个实际运行可执行文件的 python 脚本，但这似乎非常低效，因为每次它都会启动一个新的 JVM叫。话虽如此，我不知道如何处理这个问题。

Answer 1

如果您正在编写自己的 MapReduce 作业，则可以将所有 jar 文件作为库和 xml 文件作为资源。

Answer 2

我是 LightSide Researcher's Workbench 的维护者之一。 LightSide 还包含一个小型 PredictionServer 类，用于通过 HTTP 处理对新实例的预测 - 你可以看到它here on BitBucket。

如果你想训练新模型，你可以修改这个服务器来做你想做的事，从 side.recipe.Chef 类中提取线索。