【问题标题】:Debezium: Mysql LONGTEXT to Debezium Data type conversions is not correctDebezium:Mysql LONGTEXT 到 Debezium 数据类型转换不正确
【发布时间】:2020-12-31 23:29:45
【问题描述】:

mysql 架构

 `Info` longtext,

同一字段的 debezium 架构

{
     "name": "Info",
      "type": [
          "null",
          "string"
       ],
      "default": null
},

当在 Redshift 中加载此数据时,它会失败,因为它预计数据类型会很大,即 VARCHAR(MAX),但由于 debezium 没有将 longtext 转换为 long,所以它会得到 VARCHAR(255)

请提出建议,为什么会这样。

【问题讨论】:

    标签: debezium


    【解决方案1】:

    请看https://debezium.io/documentation/reference/1.2/connectors/mysql.html#mysql-property-column-propagate-source-type

    这会将类型约束参数添加到架构中。

    另外,IIUC 您正在使用 Confluent Avro 转换器。如果是,则将enhanced.avro.schema.supportconnect.meta.data 设置为true

    在这种情况下,如果提供了此类功能,您需要将 Debezium onstraint 参数转换为接收器转换器支持的参数。

    【讨论】:

    • 再次感谢您,检查。
    • 请同时指向 avro 模式配置的文档。想知道为什么需要 avro 模式支持标志和连接元数据?
    猜你喜欢
    • 2013-11-22
    • 1970-01-01
    • 1970-01-01
    • 2021-09-27
    • 2021-05-07
    • 2016-08-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多