团队， 目前我正在研究 spring-xd 并用作数据分析和纱线作业的运行时容器。
我的问题是
1) 我可以利用与 spring-xd 相同的环境设置吗？
2）从文档中，我读到它可以部署为微服务，是否使用嵌入式驱动程序进行流处理？如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？
3) 是否有为 Apache Spark 构建的特定包装器？
我的环境：Spark 1.6.1、Hadoop 2.7.2、zookeeper 3.6.8、redis 3.2、spring-xd-1.3.1
我们将非常感谢您对此特定查询的任何帮助。
【问题讨论】：
标签： spring-boot spring-xd spring-cloud-stream spring-cloud-config spring-cloud-dataflow
我可以利用与 spring-xd 相同的环境设置吗？
Spring Cloud Data Flow (SCDF) 依赖于spring-cloud-deployer SPI，并且有 Cloud Foundry、Apache YARN、Apache Mesos 和 Kubernetes 的实现。鉴于您已经拥有一个使用 YARN 的 Hadoop 集群，您可以配置 SCDF 服务器的 YARN implementation。
是否使用嵌入式驱动程序进行流处理？
不清楚你的意思。如果您指的是 jdbc-drivers；具体来说，当使用jdbc 作为接收器应用程序时，我们确实嵌入了对 OSS 友好的驱动程序，是的。
如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？
也许对#1 的回答涵盖了这一点。您可以利用相同的基础架构并使用 Ambari plugin 配置 YARN SCDF 服务器。
是否有为 Apache Spark 构建的特定包装器？
我们将 Spark 作为 client 和 cluster 应用程序。您可以在 SCDF 中 register 他们来构建任务/批处理管道。
【讨论】：