由于官网关于distcp的描述不是很清楚
-diff
用于对比两个快照的差异。关于其描述比较少,感觉不会用到,没有进行测试
-update
这边测试一下update这个命令的同步机制
在excel 文件里添加一张图片,测试同步命令。如果同步成功。证明是直接覆盖改文件 而不是增量。
首先同步一次。保证2个文件一致
修改源文件,添加一张图片,替换源文件文件。尝试文件同步是否成功
同步完成之后 文件的创建时间已经变更
打开文件看到文件已经被更新
测试文件是否
update 不更新权限变更755 和700 不做区分
文件内容一致 不会同步。
大小一致内容不一致 也会同步。
测试修改字体颜色 也会同步复制
最终决定用这条命令 去做同步工作。只会全量同步 有差异的文件。删除路径中源上没有, 但是目标机上存在的文件。
hadoop distcp -update -append -delete -prbug hdfs://ip:8020/test0327 hdfs://ip:8020/test0327