【问题标题】:How to join a KSQL table and a stream on a non row key column如何在非行键列上连接 KSQL 表和流
【发布时间】:2020-09-22 18:57:03
【问题描述】:

我正在使用 Confluent Platform 5.4.1 的社区版。我没有找到任何 CLI 命令来打印 KSQL Server 版本,但是当我输入 KSQL 时,我看到的内容可以在随附的屏幕截图中找到。

我有一个地理围栏表 -

CREATE TABLE GEOFENCE (GEOFENCEID INT, 
                       FLEETID VARCHAR, 
                       GEOFENCECOORDINATES VARCHAR) 
                 WITH (KAFKA_TOPIC='MONGODB-GEOFENCE', 
                       VALUE_FORMAT='JSON', 
                       KEY= 'GEOFENCEID');

只要从 REST API 支持的 Web 应用程序对地理围栏 MongoDB 集合执行插入或更新操作,数据就会从 Kafka MongoDB 源连接器进入地理围栏 KSQL 表。使地理围栏成为表的想法是,由于表是可变的,因此它将保存更新的地理围栏信息,并且由于插入或更新操作不会非常频繁,并且每当地理围栏 MongoDB 集合中发生更改时,它们将在地理围栏 KSQL 上得到更新表,因为这里的键是 GeofenceId。

我有车辆位置的实时流 -

CREATE STREAM VEHICLE_POSITION (VEHICLEID INT, 
                                FLEETID VARCHAR, 
                                LATITUDE DOUBLE, 
                                LONGITUDE DOUBLE) 
                          WITH (KAFKA_TOPIC='VEHICLE_POSITION', 
                          VALUE_FORMAT='JSON')

我想像这样加入表和流 -

CREATE STREAM VEHICLE_DISTANCE_FROM_GEOFENCE AS 
    SELECT  GF.GEOFENCEID, 
            GF.FLEETID, 
            VP.VEHICLEID, 
            GEOFENCE_UDF(GF.GEOFENCECOORDINATES, VP.LATITUDE, VP.LONGITUDE)  
       FROM GEOFENCE GF 
             LEFT JOIN VEHICLE_POSITION VP 
                ON GF.FLEETID = VP.FLEETID;

但是 KSQL 不允许我这样做,因为我在 FLEETID 上执行连接,这是一个非行键列。虽然这在 SQL 中是可能的,但我如何在 KSQL 中实现这一点?

注意:根据我的应用程序的业务逻辑,车队 ID 用于组合地理围栏和属于车队的车辆。

表格的样本数据 -

INSERT INTO GEOFENCE
(GEOFENCEID INT, FLEETID VARCHAR, GEOFENCECOORDINATES VARCHAR) 
VALUES (10, 123abc, 52.4497_13.3096);

流的样本数据 -

INSERT INTO VEHICLE_POSITION 
(VEHICLEID INT, FLEETID VARCHAR, LATITUDE DOUBLE, LONGITUDE DOUBLE) 
VALUES (1289, 125abc, 57.7774, 12.7811):

【问题讨论】:

  • 您能否更新您的问题以显示两个表结构(例如DESCRIBE x 输出),并从每个表中采样行?这将使跟踪和帮助变得更加容易
  • ksqlDB尚不支持非键连接。见github.com/confluentinc/ksql/issues/4424。但是,正如 Robin 所建议的那样,如果您提供更多详细信息,则可能会有其他选择。您能否用两个CREATE 语句和示例数据以及您的ksqlDB 版本更新您的问题?
  • @AndrewCoates 请查看已编辑的问题。
  • 这要好得多,尽管一些示例数据会有所帮助。具体来说,geofenceid和fleetid是什么关系?可以为多个地理围栏设置相同的fleetid,还是两者之间存在一对一的映射?
  • @AndrewCoates 车队 ID 可以有一个或多个地理围栏。一个车队可以拥有一辆或多辆汽车。添加了有问题的示例数据。

标签: ksqldb confluent-platform


【解决方案1】:

要解决您的问题,您需要一个 FENCEID 到 GEOFENCECOORDINATES 的表。您可以使用这样的表加入您的 VEHICLE_POSITION 流以获得您需要的结果。

那么,如何获得一个 FENCEID 到 GEOFENCECOORDINATES 的表?

简单的答案是您不能使用当前的表定义!您将表声明为只有 GEOFENCEID 作为主键。然而,一个fleetId 可以有许多栅栏。为了能够对此进行模式化,GEOFENCEID 和 FENCEID 都需要成为表主键的一部分。

考虑这个例子:

INSERT INTO GEOFENCE VALUES (10, 'fleet-1', 'coords-1');
INSERT INTO GEOFENCE VALUES (10, 'fleet-2', 'coords-2');

运行这两个插入时,表将只包含一行,键为10,值'fleet-2', 'coords-2'。

即使我们能够以某种方式在表中捕获上述信息,考虑如果主题中有墓碑会发生什么,因为第一行已从源 Mongo 表中删除。墓碑是键 (10) 和 null 值。然后,ksqlDB 将使用键 10 从其表中删除该行,留下一个空表。

这是你问题的症结所在!

首先,您需要配置源连接器以将栅栏 ID 和队列 ID 都放入消息的键中。

接下来,您需要在 ksqlDB 中访问它。不幸的是,ksqlDB,从版本 0.10.0 / CP 6.0.0 开始不支持多个键列,尽管this is being worked on 很快。

同时,如果您的 key 是包含两个关键字段的 JSON 文档,例如

{
   "GEOFENCEID": 10,
   "FLEETID": "fleet-1"
}

然后你可以将它作为字符串导入ksqlDB:

-- 5.4.1 syntax:
-- ROWKEY will contain the JSON document, containing GEOFENCEID and FLEETID
CREATE TABLE GEOFENCE (
    GEOFENCECOORDINATES VARCHAR
  ) 
  WITH (
     KAFKA_TOPIC='MONGODB-GEOFENCE', 
     VALUE_FORMAT='JSON'
  );

-- 6.0.0 syntax:
CREATE TABLE GEOFENCE (
    JSONKEY STRING PRIMARY KEY, 
    GEOFENCECOORDINATES VARCHAR
  ) 
  WITH (
    KAFKA_TOPIC='MONGODB-GEOFENCE', 
    VALUE_FORMAT='JSON'
  );

现在正确定义了表格,您可以使用 EXTRACTJSONFIELD 访问 JSON 键中的数据并使用 COLLECT_SET 收集所有围栏坐标。我不是 100% 肯定这会在 5.4.1 上,(看看你是怎么开始的),但会在 6.0.0 上。

-- 6.0.0 syntax
CREATE TABLE FLEET_COORDS AS
   SELECT
    EXTRACTJSONFIELD(JSONKEY, '$.FLEETID') AS FLEETID,
    COLLECT_SET(GEOFENCECOORDINATES)
   FROM GEOFENCE
   GROUP BY EXTRACTJSONFIELD(JSONKEY, '$.FLEETID');

这会给你一个fleetId表到一组栅栏坐标。您可以使用它来加入您的车辆位置流。当然,您的GEOFENCE_UDF udf 需要接受ARRAY<STRING> 作为栅栏坐标,因为可能有很多。

祝你好运!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2015-06-15
    • 2018-10-05
    • 2018-03-29
    • 1970-01-01
    • 2018-07-28
    • 2011-01-18
    • 2020-05-24
    相关资源
    最近更新 更多