C# HDFS 文件上传超时答案

【问题标题】：C# HDFS File upload timeoutsC# HDFS 文件上传超时
【发布时间】：2017-12-12 02:31:48
【问题描述】：

我正在使用 Microsoft.Research.Peloponnese.WebHdfs 将文件写入 HDFS。但是使用它上传文件似乎有 100 秒的超时。我没有找到任何方法可以更改此超时。

using (var hdfs = new WebHdfsClient(user, port))
{
   using (Stream writeStream = hdfs.GetDfsStreamWriter(writeFileURI))
   {
     using (Stream readStream = System.IO.File.OpenRead(inFile))
     {
         readStream.CopyTo(writeStream );
     }
   }
}

或者有没有更好的方法使用 C# 将文件写入 HDFS？

【问题讨论】：

我做了一些谷歌搜索，显然 GetDfsStreamWriter 在后台调用了 GetDfsStreamWriterAsync。 The latter accepts a timeout argument.
是的。但我正在使用这个github.com/MicrosoftResearch/Peloponnese/blob/…

标签： c# hdfs webhdfs

【解决方案1】：

使用修改后的WebHdfs class

修改 GetDfsStreamWriter 方法，为 PUT 请求设置 Timeout 属性。

put.Timeout = 8000000;

【讨论】：