Flink 输出可以下沉到 NFS 或 GPFS 文件系统吗？

【问题标题】：Can Flink output be sinked to a NFS or GPFS file system?Flink 输出可以下沉到 NFS 或 GPFS 文件系统吗？
【发布时间】：2018-04-01 04:41:14
【问题描述】：

Flink 有一个 RollingFileSink，根据文档，它适用于 HDFS (Hadoop)。是否有类似的类可用于将数据下沉到 NFS、ext4 或 GPFS 等文件系统？

https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/connectors/filesystem_sink.html

【问题讨论】：

  • 你使用flink分布式/多机吗？如果您是，使用非分布式文件系统可能不是您的最佳选择。
  • 是的，我愿意。感谢您的提示。

标签： apache-flink nfs ext4 distributed-filesystem


【解决方案1】：

RollingSink 类适用于所有 Hadoop-compatible file systems（它只是使用 Hadoop 的 FileSystem 抽象）。

兼容的文件系统列表包括符合 POSIX 的文件系统（file://，包括 NFS、ext4、...）和 GPFS。

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-07-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-06-28
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode