【问题标题】:When executing LOAD DATA in Hive, does it copies the data?在 Hive 中执行 LOAD DATA 时,它会复制数据吗?
【发布时间】:2017-08-28 10:58:09
【问题描述】:

将存储在 HDFS 中的数据加载到 HIVE 时,HDFS 中的这些数据是否会被复制为 HIVE 使用的不同格式?还是使用原始文件来存储/选择/插入/修改数据?

上下文: LOAD DATA INPATH '/home/user/sample.txt' OVERWRITE INTO TABLE 员工;

HIVE 是否总是使用 /home/user/sample.txt 来存储/选择/插入/修改数据,还是会在 HDFS/HBASE 上创建一个占用新空间的新文件?

【问题讨论】:

    标签: hadoop hive hiveql hdfstore


    【解决方案1】:

    documentation中有解释:

    如果未指定关键字 LOCAL,则 Hive 将使用文件路径的完整 URI(如果指定),或者将应用以下规则: [...] Hive 会将文件路径寻址的文件移动到表(或分区)中

    【讨论】:

      【解决方案2】:

      LOAD DATA INPATH 除了将 HDFS 文件移动到表的位置之外什么都不做,“移动”是指 HDFS 的元数据操作。

      【讨论】:

        猜你喜欢
        • 2013-01-07
        • 2011-10-27
        • 2020-07-13
        • 1970-01-01
        • 2012-07-03
        • 2022-06-15
        • 2013-09-14
        • 2017-07-05
        • 2020-09-08
        相关资源
        最近更新 更多