Flume：没有抛出错误，但flume无法完全传输文件答案

【问题标题】：Flume: No errors thrown but flume fails to transfer the file completelyFlume：没有抛出错误，但flume无法完全传输文件
【发布时间】：2013-06-26 07:55:53
【问题描述】：

过去 2-3 周我一直在研究水槽。我遇到了一个新情况，我不知道如何解决。

Flow：使用基本流，spoolDir -> fileChannel -> HDFS

.conf 文件中没有设置额外的参数

我尝试传输的文件大小：1.4GB

情况：代理启动正常，文件传输启动正常，源中的文件重命名为 .COMPLETED，完整文件未传输到 HDFS，没有抛出错误/异常。我多次运行相同的 adhoc，我发现在 1.4 gigs 中只有 ~169Mb 被转移。看起来很奇怪！

有什么建议吗？有什么解决办法吗？有什么假设吗？

【问题讨论】：

你能显示你的配置吗？
我们正在使用以下流程：spoolDir-> AvroSinks(2)->AvroSource(2)->HDFSSink(2) conf 中的非默认参数：Tier1: spool_source_batchsize=1000 avro_sinks_batchsize=500 channel_capacity= 1000000 Tier2：HDFS_sinks_batchsize=500 channel_capacity=1000000 这绝对是我为其配置代理的批量大小/容量的问题。你能指导我批量大小方法哪里出错了吗？谢谢！

标签： apache hadoop flume

【解决方案1】：

你等了多久？给它一个小时，你可能会看到一些东西。

您的 fileChannel 可能已损坏，需要一些时间来清理它。

什么版本的 Flume，顺便说一句？

【讨论】：

我正在使用 cdh4 flume-ng，我等了一段时间，但我没有看到任何文件传输发生，我再次交叉检查基本上我观察到的是当我们调整批量大小时并将通道容量设置为默认值以外的其他一些值，我们遇到了这个问题，文件传输的默认值很好。我们使用的调整参数值是：spool_source_batchsize=1000 avro_sinks_batchsize=500 channel_capacity=1000000 hdfs_sinks_batchsize=500 我哪里出错了？

【解决方案2】：

尝试向文件中添加更多数据并等待一段时间。日志中有什么有趣的事情吗？

还要确保您的 HDFS 上有足够的空间。

【讨论】：

基本上我观察到的是，当我们将批量大小和通道容量调整为默认值以外的其他值时，我们遇到了这个问题，文件传输的默认值很好。我们使用的调整参数值是：spool_source_batchsize=1000 avro_sinks_batchsize=500 channel_capacity=1000000 hdfs_sinks_batchsize=500 我哪里出错了？