flume HDFS sink 自定义文件名答案

【问题标题】：flume HDFS sink custom file nameflume HDFS sink 自定义文件名
【发布时间】：2017-03-09 01:50:37
【问题描述】：

有没有办法在flume存储的HDFS接收器中配置（通过事件动态）文件名？ HDFS sink 提供以下名称配置。

hdfs.filePrefix
hdfs.fileSuffix

【问题讨论】：

标签： java hadoop hdfs flume

【解决方案1】：

是的。您可以通过以下参数配置HDFS sink中的文件名。

hdfs.filePrefix = <<FILE_PREFIX>>-%{host}-%d-%H-%m-%s
hdfs.fileSuffix = <<FILE_SUFFIX>>-%{host}-%d-%H-%m-%s

%{host} = "It will pick up the hostname of your machine"
%t = "It will provide unix time in milliseconds "
%d= "Date"
%H= "Hour"
%m= "minutes"
%s= "seconds"

因此Flume Bucket writer打开线程到hdfs写入，通过使用“Prifix/Suffix”我们可以动态创建文件名。

【讨论】：

你能描述一下吗？
有没有办法以编程方式定义它？例如自定义文档ID。我已经尝试过使用可配置界面但没有成功。