【发布时间】：2017-11-19 20:56:19
【问题描述】：
Pig 使用变量来存储数据。
当我将数据从 HDFS 加载到 pig 中的变量中时。数据临时存储在哪里？
当我们将数据加载到变量中时，后台到底发生了什么？
好心的帮助
【问题讨论】：
标签： variables hdfs apache-pig hadoop2
【发布时间】：2017-11-19 20:56:19
【问题描述】：
Pig 懒惰地评估大多数表达式。在大多数情况下，它会检查语法错误等。比如，
a = load 'hdfs://I/Dont/Exist'
不会抛出错误，除非您使用 STORE 或 DUMP 或类似的东西导致 a 的评估
类似地，如果一个文件存在并且您将它加载到一个关系并对其执行转换，则该文件通常被假脱机到/tmp 文件夹，然后执行转换。如果您查看在grunt 上运行命令时出现的消息，您会注意到以file:///tmp/xxxxxx_201706171047235 开头的文件路径。这些是存储中间数据的文件。
【讨论】：
-
U 的意思是说当我执行 a = load '/home/hadoop/pigdata/test' 时，数据不会存储到变量中。它仅在我执行 dump a 时存储