【问题标题】:Load data from an alias in PIG从 PIG 中的别名加载数据
【发布时间】:2016-04-13 14:58:50
【问题描述】:

我有一个这种格式的查询

A = LOAD 'DB.Table_Name'  Using org.apache.hive.hcatalog.pig.HCatLoader() as (f1:chararray, f2:chararray,f3:chararray,f4:chararray,f5:chararray,f6:chararray,f7:chararray,f8:chararray,f9:datetime,f10:chararray) ;
B = FILTER A BY f1 == 'Colum_Name';
C = FOREACH B GENERATE CONCAT('DB_Name.',f5);
Dump C;

现在 C 有DB.Table_name..

请解释如何从 C 语言中的table_name 加载数据

谢谢

【问题讨论】:

    标签: hadoop hive apache-pig bigdata


    【解决方案1】:

    A 会进行以下工作:

    %default TABLE_NAME `hive -e "SELECT ...your hive query to get the name from f5...;"`
    C = LOAD 'DB.$TABLE_NAME' USING ...
    

    我希望这会有所帮助。

    【讨论】:

    • 嗨 Kesco 感谢您在我尝试使用它时所做的工作,但想知道如果 F5 带回多个表,这将如何工作。
    • 如果您已经定义了表的数量,那么您可以使用 bash 工具来解析表名并将它们存储在单独的变量中。在使用定义的变量加载表之后。
    • 如果你有不同数量的表(尤其是不同的模式),你可以使用嵌入式 pig 在例如蟒蛇pig.apache.org/docs/r0.9.1/cont.html#embed-python
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-10-11
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多