如何复制镶木地板文件并覆盖 HDFS 上的旧文件答案

【问题标题】：How to copy parquet file and overwrite the old one on HDFS如何复制镶木地板文件并覆盖 HDFS 上的旧文件
【发布时间】：2020-09-22 18:18:33
【问题描述】：

我的问题是假设我们在 HDFS 上有两个 parquet 文件：file1.parquet 和 file2.parquet 在不同的路径中，我想复制 file1.parquet 来替换 file2.parquet。

我使用命令hdfs dfs -cp -f /path1/file1.parquet /path2/file2.parqet，没有抛出错误，但是file2.parquet 根本没有改变。我必须先删除 file2.parquet，然后再复制 file1.parquet。

有什么想法吗？谢谢

【问题讨论】：

因为你是强行把file1的内容放到file2中。
一定有问题。它确实正确覆盖。指挥没有错。
我确实想把file1的内容放到file2中，仍然把文件命名为file2。

标签： apache-spark hdfs parquet

【解决方案1】：

检查以下命令。

hdfs dfs -cp -f /path1/file1.parquet /path2/file2.parqet // Overwitten file1 content in file2 content.
hdfs dfs -mv /path2/file2.parquet /path2/file1.parqet // For rename file from file2.parqet to file1.parqet

【讨论】：