【问题标题】:Is it possible to implement custom file system adapter for state backend?是否可以为状态后端实现自定义文件系统适配器?
【发布时间】:2016-04-08 19:42:56
【问题描述】:

是否可以为状态后端实现自定义文件系统适配器?

似乎我可以基于FileSystem 实现自己的文件系统适配器,但如何在我的状态后端流程中开始使用它?

【问题讨论】:

  • 您希望将哪个文件系统用于状态后端?
  • 我正在考虑使用 Riak CS 或 Cassandra 作为存储状态。
  • Mh.显然,您可以使用 Hadoop 的 S3 impl 访问 Riak CS。我不确定是否将 Cassandra 用作 FS 后端。状态后端会给 cassandra 带来很大的压力。

标签: apache-flink


【解决方案1】:

在大多数情况下,您不需要实现自定义文件系统实现,因为 Flink 支持 Hadoop 的FileSystem 接口支持的所有文件系统。

【讨论】:

  • 你是对的。我有found a way 如何通过 Hadoop FileSystem 接口加入 Apache Flink 和 Riak CS。谢谢!
猜你喜欢
  • 1970-01-01
  • 2013-02-04
  • 2011-05-05
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-05-07
  • 1970-01-01
相关资源
最近更新 更多