使用新记录更新 HIVE 表并根据键更新记录答案

【问题标题】：Updating HIVE table with new records and upsert records based on key使用新记录更新 HIVE 表并根据键更新记录
【发布时间】：2014-06-24 10:09:48
【问题描述】：

我正在关注以下方法-

有一个 WORK.DATA_PERM 表是可用的和新的，并且必须更新的数据是这样的形式，如果假设 WORK.DATA_PERM 中有 100 行并且新文件有 10 条记录，其中 9 条必须是更新和 1 条新记录-

接下来的步骤是 -

创建一个新表 WORK.DATA_PTY 并将其与表 WORK.DATA_PERM 的所有记录一起插入。
从上面提到的收到的文件中附加此表（10 行）。
运行以下查询以获取所需数据 -

选择 T1.PTY_KEY, T1.PRCS_DT 来自 WORK.DATA_PTY T1 INNER JOIN (选择 PTY_KEY, max(PRCS_DT) as MAX_DATE from WORK.DATA_PTY group by PTY_KEY) T2 在 T2.PTY_KEY = T1.PTY_KEY 和 T2.MAX_DATE = T1.PRCS_DT

我们想用 Java Map Reduce 来做这个活动吗？请建议方法。感谢您的回复。

【问题讨论】：

标签： mapreduce hive

【解决方案1】：

您可以使用 Java Map Reduce 来执行此活动。在用 java 编写映射器和化简器代码后，您还可以将它们插入到您的配置单元查询中。

您可以查看如何为 hive 查询编写自定义映射器和化简器here

另见this

【讨论】：