如何按时间加入两个表[关闭]

Question

答：

CODE	TIMESTAMP	MODE
A	2020-09-01 23:12:43	Sleep
B	2020-09-02 22:09:12	Weak

乙：

CODE	TIMESTAMP	Action
A	2020-08-01 11:12:43	Go
A	2020-09-01 22:09:12	Stop
A	2020-09-02 06:12:43	Stop
A	2020-09-03 11:07:43	Stop
B	2020-09-03 22:09:12	Go

决赛桌：

CODE	A_TIMESTAMP	MODE	Action	B_TIMESTAMP
A	2020-09-01 23:12:43	Sleep	Stop	2020-09-02 06:12:43
B	2020-09-02 22:09:12	Weak	Go	2020-09-03 22:09:12

我想要的是加入表A和表B（key=Code），但是如果表B的时间戳大于表A的值，这是只加入第一个的方法。

一张表的行数超过 1000 万行

表B的行数也是100万。

我可以使用 dask、pyspark、pandas、sql 全部。我怎样才能有效地得到它？

Answer 1

在 90% 的场景中，以您想要的方式从数据库引擎获取数据是最快、最有效的方式。

如果您在表 B 中始终有一条记录的时间戳大于表 A 中的时间戳，那么答案就是简单的连接：

select * from A
join B 
on A.Code = B.Code
and A.TimeStamp < B.TimeStamp

如果不是：

select
    *
from
    A
cross apply (
    select TOP 1 *
    from B 
    where A.Code = B.Code
      and A.TimeStamp < B.TimeStamp
    order by B.TimeStamp
)