【问题标题】:Copying a file to HDFS2 via camel doesn't work通过骆驼将文件复制到 HDFS2 不起作用
【发布时间】:2015-04-01 09:43:02
【问题描述】:

有没有人有通过骆驼将文件写入 hdfs2 的好例子?

我尝试了以下代码:

import org.apache.camel.CamelContext;
import org.apache.camel.ProducerTemplate;
import org.apache.camel.builder.RouteBuilder;
import org.apache.camel.impl.DefaultCamelContext;

public final class Main {

    private Main() {
    }

    public static void main(String args[]) throws Exception {
        CamelContext context = new DefaultCamelContext();
        context.addRoutes(new RouteBuilder() {
            public void configure() {
                from("file:C:\\FILES\\SRC\\2015-03-31_16-58-56.png?noop=true")
                        .to("hdfs2://xxxx:9000/testCamel/D2/qwe.png");
                        //.to("file:C:\\FILES\\OUT");
            }
        });
        //ProducerTemplate template = context.createProducerTemplate();

        context.start();

        context.stop();
    }
}

这些文件是在 HDFS 中创建的,但它们都是空的(0 字节)。

【问题讨论】:

  • 您能否添加一些有关您的问题的详细信息(通过编辑您的问题)?你得到一个例外还是文件没有被复制?
  • 在我的 Hadoop 文件中创建了,但它们是 0 字节

标签: hadoop apache-camel hdfs


【解决方案1】:

从文件消费到 HDFS 时确保 noop=false。 hdfs组件使用chunk来消费,所以如果noop为真,camel会认为它已经消费了。

【讨论】:

    猜你喜欢
    • 2015-11-22
    • 1970-01-01
    • 2018-09-09
    • 1970-01-01
    • 1970-01-01
    • 2018-02-02
    • 2019-01-16
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多