Apache Flume 无法将文件从源复制到目标答案

【问题标题】：Apache Flume not able to copy files from source to destinationApache Flume 无法将文件从源复制到目标
【发布时间】：2016-02-15 14:17:40
【问题描述】：

我正在以用户“root”身份执行 Flume 代理，我想将保存在位置 /root/data-pipeline/input 的 XML 文件复制到位于 hdfs:///user/root/data_pipeline_demo/input.. 位置的 hdfs 中的目标位置

当我以flume-ng agent -c /etc/flume/conf -f /etc/flume/conf/flume.conf -n sandbox 身份执行 Flume 代理时......它没有将文件写入目标位置并引发异常：

 org.apache.hadoop.ipc.RemoteException
(org.apache.hadoop.security.authorize.AuthorizationException): 
 User: root is not allowed to impersonate root..

哪里出了问题？我是否缺少一些配置？

【问题讨论】：

标签： hadoop flume hortonworks-data-platform flume-ng bigdata

【解决方案1】：

我认为您需要更改模拟设置以匹配您的 HDFS 设置。我不熟悉您的设置，但几乎可以肯定您没有在 Hadoop 上使用 root 用户。如果您更改设置以匹配您的 HDFS 用户，它将开始工作。

【讨论】：

我什至尝试了多个用户，即 ambari-qa 或任何自定义用户，但仍然抛出相同的错误，即不允许用户 ambari-qa 模拟 ambari-qa......我配置了通过在 core-site.xml hadoop.proxyuser.flume.groupsusers hadoop 中进行以下更改来模拟 Hadoop。 proxyuser.flume.hosts* ....但仍然失败并给出相同的异常
你的源和目标不应该相同，例如hdfs用户可以冒充qa-user但是hdfs to hdfs不起作用。