使用 Storm 将数据移动到 HDFS

【问题标题】：Moving data to HDFS with Storm使用 Storm 将数据移动到 HDFS
【发布时间】：2014-07-01 20:03:30
【问题描述】：

需要一些帮助来了解 HDFS 和 Storm 的集成方式。 Storm 可以使用许多节点处理传入的数据流。比如说，我的数据是来自不同机器的日志条目。那么我该如何存储这一切呢？理想情况下，我想将一台机器的日志存储到该机器专用的一个或多个文件中。然而它有用吗？我可以从许多不同的 Storm 节点追加到 HDFS 中的同一个文件吗？

PS：我仍在努力让所有这些运行起来，所以我无法对其进行物理测试......但这确实让我很困扰。

【问题讨论】：

    标签： java amazon-web-services hdfs apache-storm


    【解决方案1】：

    Write a file in hdfs with Java

    不，您不能一次从多个任务写入同一个文件。每个任务都需要在一个目录中写入它自己的文件，然后你可以使用 directory/* 如果你使用 hadoop 来处理它们

    【讨论】：

    • 我明白了。所以它就像正常的文件系统访问一样。好的。我想我可以忍受。我的员工可以每分钟创建文件。另一个进程（例如，基于 Shark）将使用 1 分钟的文件。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-05-29
    • 2012-05-18
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode