【发布时间】:2020-09-22 18:57:03
【问题描述】:
我正在使用 Confluent Platform 5.4.1 的社区版。我没有找到任何 CLI 命令来打印 KSQL Server 版本,但是当我输入 KSQL 时,我看到的内容可以在随附的屏幕截图中找到。
我有一个地理围栏表 -
CREATE TABLE GEOFENCE (GEOFENCEID INT,
FLEETID VARCHAR,
GEOFENCECOORDINATES VARCHAR)
WITH (KAFKA_TOPIC='MONGODB-GEOFENCE',
VALUE_FORMAT='JSON',
KEY= 'GEOFENCEID');
只要从 REST API 支持的 Web 应用程序对地理围栏 MongoDB 集合执行插入或更新操作,数据就会从 Kafka MongoDB 源连接器进入地理围栏 KSQL 表。使地理围栏成为表的想法是,由于表是可变的,因此它将保存更新的地理围栏信息,并且由于插入或更新操作不会非常频繁,并且每当地理围栏 MongoDB 集合中发生更改时,它们将在地理围栏 KSQL 上得到更新表,因为这里的键是 GeofenceId。
我有车辆位置的实时流 -
CREATE STREAM VEHICLE_POSITION (VEHICLEID INT,
FLEETID VARCHAR,
LATITUDE DOUBLE,
LONGITUDE DOUBLE)
WITH (KAFKA_TOPIC='VEHICLE_POSITION',
VALUE_FORMAT='JSON')
我想像这样加入表和流 -
CREATE STREAM VEHICLE_DISTANCE_FROM_GEOFENCE AS
SELECT GF.GEOFENCEID,
GF.FLEETID,
VP.VEHICLEID,
GEOFENCE_UDF(GF.GEOFENCECOORDINATES, VP.LATITUDE, VP.LONGITUDE)
FROM GEOFENCE GF
LEFT JOIN VEHICLE_POSITION VP
ON GF.FLEETID = VP.FLEETID;
但是 KSQL 不允许我这样做,因为我在 FLEETID 上执行连接,这是一个非行键列。虽然这在 SQL 中是可能的,但我如何在 KSQL 中实现这一点?
注意:根据我的应用程序的业务逻辑,车队 ID 用于组合地理围栏和属于车队的车辆。
表格的样本数据 -
INSERT INTO GEOFENCE
(GEOFENCEID INT, FLEETID VARCHAR, GEOFENCECOORDINATES VARCHAR)
VALUES (10, 123abc, 52.4497_13.3096);
流的样本数据 -
INSERT INTO VEHICLE_POSITION
(VEHICLEID INT, FLEETID VARCHAR, LATITUDE DOUBLE, LONGITUDE DOUBLE)
VALUES (1289, 125abc, 57.7774, 12.7811):
【问题讨论】:
-
您能否更新您的问题以显示两个表结构(例如
DESCRIBE x输出),并从每个表中采样行?这将使跟踪和帮助变得更加容易 -
ksqlDB尚不支持非键连接。见github.com/confluentinc/ksql/issues/4424。但是,正如 Robin 所建议的那样,如果您提供更多详细信息,则可能会有其他选择。您能否用两个
CREATE语句和示例数据以及您的ksqlDB 版本更新您的问题? -
@AndrewCoates 请查看已编辑的问题。
-
这要好得多,尽管一些示例数据会有所帮助。具体来说,geofenceid和fleetid是什么关系?可以为多个地理围栏设置相同的fleetid,还是两者之间存在一对一的映射?
-
@AndrewCoates 车队 ID 可以有一个或多个地理围栏。一个车队可以拥有一辆或多辆汽车。添加了有问题的示例数据。