【问题标题】:How to improve read/write speed when using distributed file system?使用分布式文件系统时如何提高读/写速度?
【发布时间】:2018-06-10 00:59:08
【问题描述】:

如果我浏览分布式文件系统 (DFS) 共享文件夹,我可以创建一个文件并观察它几乎立即复制到另一个办公室 DFS 共享。即使通过宽带链接访问共享也非常即时。

我想提高读/写速度。非常感谢任何提示。

【问题讨论】:

  • 如你所说,读/写速度显然是可用的。您能否详细说明缓慢的读/写请求来自何处?对于大多数远程连接,问题更多的是延迟而不是带宽 - 一些具有大块大小的请求将比多个较小的请求获得更好的吞吐量。例如。编码时,缓冲流可以带来不同的世界。

标签: microsoft-distributed-file-system moosefs


【解决方案1】:

改进硬件总是有帮助的,但请记住,在任何分布式文件系统中,父主机的性能都会受到影响,除此之外,在许多情况下您无法触及硬件,您需要优化网络或调整系统以使其最适合您当前的提供商架构。

这方面的一个例子,主要是在虚拟化环境中,当从网卡禁用TCP segmentation offload ifconfig_DEFAULT="SYNCDHCP -tso" 时,它会显着提高吞吐量,但代价是更多的 CPU 使用率。

根据您想走多远,您可以从最底层开始所有这些优化:

关于 moosefssome threads 关于块大小如何影响 I/O 性能以及在许多情况下通过禁用缓存允许大于 4k 的块。

主要针对 FreeBSD,我们为 MooseFS 客户端添加了特殊的缓存选项 称为直接。 自版本 3.0.49 起,此选项在 MooseFS 客户端中可用。 要禁用本地缓存并启用直接通信,请使用此 挂载期间的选项:

mfsmount -H mfsmaster.your.domain.com -o mfscachemode=DIRECT /mount/point

【讨论】:

    【解决方案2】:

    在大多数文件系统中,速度因素是:访问类型(顺序或随机)和块大小。硬件性能也是MooseFS 的因素。您可以通过提高硬盘性能(例如您可以切换到 SSD)、网络拓扑(网络延迟)和网络容量来提高速度。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-11-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-12-01
      • 2014-08-22
      • 2022-11-29
      • 1970-01-01
      相关资源
      最近更新 更多