【问题标题】:How to handle global resources in spring cloud dataflow?spring cloud dataflow中如何处理全局资源?
【发布时间】:2017-07-23 23:21:55
【问题描述】:

我正在学习spring cloud dataflow的概念,想知道存储全局资源的常用方法是什么。

例如,当我有一个带有 pmml-processor 的流时,我想通过 spring-cloud-task 定期重新训练底层 pmml-model。

我应该将模型存储在哪里,以便处理器可以将其用作(只读)资源并由任务每晚更新? spring cloud dataflow中是否有全局存储的概念? 我应该只使用 spring-cloud 之外的传统数据库还是有更好的方法?

【问题讨论】:

    标签: spring-cloud-stream spring-cloud-dataflow spring-cloud-task


    【解决方案1】:

    Spring Cloud Data Flow 本身没有共享存储的一般概念,但用于为 PMML 处理器提供模型的 Spring Resource 非常灵活(请参阅 http://docs.spring.io/spring/docs/current/spring-framework-reference/html/resources.html,特别是表 8.1 中的一些路径可用于pmml.model-location 参数的选项)。所以有几个开箱即用的选项:

    • 使用共享文件系统(然后可以通过file:// 协议访问);
    • 将模型存储在可通过 HTTP 用作静态资源的可访问位置;

    S3(通过 https://cloud.spring.io/spring-cloud-aws/)和 HDFS(通过 Spring for Apache Hadoop - 请参阅 http://docs.spring.io/spring-hadoop/docs/current/reference/htmlsingle/#using-hdfs-resource-loader)提供了其他选项(需要在应用程序中包含其他 jar)。

    【讨论】:

      【解决方案2】:

      我遇到了类似的问题,最后我用这个来解决它

      https://docs.spring.io/spring/docs/current/spring-framework-reference/core.html#resources-resourceloader

      groovy-transform --script=file:///root/apps/script.groovy
      

      感谢马吕斯·博戈维西。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-12-15
        • 1970-01-01
        • 2021-10-11
        • 1970-01-01
        • 2020-08-14
        • 2021-08-19
        相关资源
        最近更新 更多