由于官网关于distcp的描述不是很清楚

-diff

用于对比两个快照的差异。关于其描述比较少,感觉不会用到,没有进行测试

distcp增量迁移测试

distcp增量迁移测试

-update

这边测试一下update这个命令的同步机制

 

在excel 文件里添加一张图片,测试同步命令。如果同步成功。证明是直接覆盖改文件 而不是增量。

 

distcp增量迁移测试

 

首先同步一次。保证2个文件一致

distcp增量迁移测试

修改源文件,添加一张图片,替换源文件文件。尝试文件同步是否成功

distcp增量迁移测试

 

同步完成之后  文件的创建时间已经变更

distcp增量迁移测试

打开文件看到文件已经被更新

distcp增量迁移测试

 

 

测试文件是否

 

 

distcp增量迁移测试

 

distcp增量迁移测试

 

 

 

update  不更新权限变更755  和700 不做区分

文件内容一致 不会同步。

大小一致内容不一致 也会同步。

测试修改字体颜色 也会同步复制

 

最终决定用这条命令 去做同步工作。只会全量同步 有差异的文件。删除路径中源上没有, 但是目标机上存在的文件。

hadoop distcp  -update -append -delete -prbug   hdfs://ip:8020/test0327 hdfs://ip:8020/test0327

 

 

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-11-04
  • 2022-12-23
  • 2022-12-23
  • 2021-06-21
  • 2021-06-14
猜你喜欢
  • 2022-12-23
  • 2021-10-22
  • 2022-12-23
  • 2022-01-19
  • 2022-01-11
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案