使用 spark/java 的 mod 函数

Question

我有一个数据框

+--------------+-----------------+
|tracking_time | current_time    |
+--------------+-----------------+
| 1582037407   |1594110202934    |                
| 1582037587   |1594110202934    |                
+--------------+-----------------+

我想计算 tracking_time 和 current_time 之间的日期差异，就像这个计算一样。

long diffDate = (now.getTime() - tracking_date.getTime()) / (60 * 1000) % 60;

请注意，unix_timestamp() 和 current_date 中的跟踪时间在“currentTimeMillis() 中。

我在 spark 上使用以下代码：

 dataframe.withColumn("diffDate",col("current_time").minus( col("tracking_time")).divide(60*1000).mod(60));

但我得到以下输出

+---------------+----------------+-----------------+
|tracking_time | current_time    |  diffDate       |
+--------------+-----------------+-----------------+
| 1582037407   |1594110202934    |56.09211666509509|               
| 1582037587   |1594110202934    |56.089116666466  |                
+--------------+-----------------+-----------------+

通常 mod 应该返回整个部门的其余部分。但我得到一个逗号。 可能是我写错了。

我需要你的帮助。

谢谢。

Answer 1

我认为是类型问题。 双倍的 Mod 将返回一个双倍。

例子：

df.withColumn("a", lit(3.5)).withColumn("b", col("a") % 3).show()

这将返回几行 a = 3.5 和 b = 0.5。

如果你想要整数值，你需要对你的值设置上限/下限，然后转换为 IntegerType 然后 mod 会给你整数余数。

编辑：正如 Andres 所指出的，时间单位不一样。所以首先你应该标准化时间单位。

tt = 1582037407 ct = 1594110202934

所以你有 1000 倍的测量差异。

(ct/1000 - tt) 将使其具有可比性。 这将以秒为单位，差异将是双精度值。 如果您需要整数转换您的值。那么 mode 会返回整数的 mod，如果你把它保存在 double 中，它会表现得像 double 的 mod。

另一个问题是 now() 将在序列化之前进行评估，因此您现在总是会得到相同的结果。也许这是需要的，我不清楚，所以我指出来。

如果您不想要相同的当前时间，那么您可能会通过 UDF 获得所需的行为，该行为可以评估每一行的 now()。请注意，在这种情况下，现在将是特定于机器的，并且您正在并行运行。