使用 userID-SQL 上的新数据更新来维护历史表答案

【问题标题】：Maintain Historical table with updates from new data on userID- SQL使用 userID-SQL 上的新数据更新来维护历史表
【发布时间】：2019-05-19 01:51:41
【问题描述】：

考虑到我有一个包含历史数据（2 年）的表，该表是在 spark 中运行以下查询后创建的：

temp_result = spark.sql("SELECT gaid,MIN(CASE WHEN upper(event) in ('APP 
ACCESS', 'APP OPENED', 'APP LAUNCHED') THEN date_stamp_ist END) as 
first_app_access_date,MIN(CASE WHEN upper(event) in ('MEDIAREADY', 'MEDIA 
READY') THEN date_stamp_ist END) as first_app_viewed_date FROM df_raw_data 
GROUP BY gaid")

数据如下：

 - --------------------+---------------------+---------------------+
|                gaid|first_app_access_date|first_app_viewed_date|
+--------------------+---------------------+---------------------+
|00001C8A-2326-469...|           2018-09-03|           2018-09-03|
|00021783-C199-4FE...|           2018-09-01|           2018-09-01|
|0003432f-6e30-4c0...|           2018-09-04|           2018-09-04|
|000662ae-2b9b-468...|           2018-09-02|           2018-09-02|
|0009ac47-c7a2-4b6...|           2018-09-01|           2018-09-01|
|000c245b-58b1-492...|           2018-09-03|           2018-09-03|
|000f327b-56dc-4c8...|           2018-09-01|           2018-09-01|
|001149cb-f51c-4c0...|           2018-09-01|           2018-09-01|
|0013ad65-2843-4d3...|           2018-09-04|           2018-09-04|
|0015170a-fda1-41c...|           2018-09-05|           2018-09-05|
|001cf486-035a-43e...|           2018-09-04|           2018-09-04|
|001f2ecf-bf0f-47d...|           2018-09-03|                 null|
|002053e8-2cf6-43f...|           2018-09-04|           2018-09-04|
|002303e0-5aa4-4eb...|           2018-09-01|           2018-09-01|
|0025f65c-5818-4c3...|           2018-09-01|                 null|
|002807db-b0a2-487...|           2018-09-03|           2018-09-03|
|002befcc-cdfd-463...|           2018-09-01|           2018-09-01|
|00364046-b022-497...|           2018-09-02|                 null|

我要做的是为用户（gaid）找到第一个应用程序访问和第一个应用程序视图。

现在，当我针对新月份的数据运行此程序时，我想：

验证传入新数据的 gaid 是否存在于历史数据中。
如果存在，则表示我们已经拥有第一个应用访问权限，我们什么也不做。
如果 gaid 不存在于历史数据中（这意味着它是一个新 id），它应该运行相同的查询来计算第一个应用程序访问和第一个应用程序视图并将其插入到历史数据中。
对于特定的 Gaid，必须存在第一个应用程序访问权限，并且第一个应用程序视图可以为空，因为一个人可以访问但稍后查看了某些内容。
对于此类条目，它应该更新历史数据中的第一个应用视图。

我很难执行此操作。非常感谢您的帮助！

【问题讨论】：

标签： apache-spark dataframe hive pyspark databricks

【解决方案1】：

这实际上是一个非常大的项目，但我可以根据自己的经验给你一些建议。

对于1/2/3，我认为你应该使用RoaringBitmap来存储你的gaids，这意味着你需要将gaid转换为一个int数。但是需要注意转换，因为不能像 String.hashCode() 这样简单的方式来做，可能会在 RoaringBitmap 中引入 int 冲突。

对于 4/5，这显然不是 HDFS 等仅附加文件系统的典型场景。为了实现这一点，您必须利用一些外部分布式数据库或框架，如 HBase、RocksDB 和 Alluxio。

【讨论】：