【发布时间】：2020-09-11 14:24:55
【问题描述】：
用例是每当有大消息（> 1MB）时，我们将其存储在 S3 上，生成的 Kafka 事件只是通过 URL 指向这些消息。
因此，在通过此连接器将数据发送到雪花之前，我想使用 SMT 从 S3 URL 下载实际的大型消息。我应该注意的雪花connector有上限吗？
【问题讨论】：
标签： snowflake-cloud-data-platform apache-kafka-connect
【发布时间】：2020-09-11 14:24:55
【问题描述】：
默认情况下，使用默认配置设置，Kafka 代理可以处理最大 1MB（实际上略小于 1MB）的消息，但是请注意，Kafka 针对大约 1K 的小消息进行了优化。您可以更改它，但向 kafka 发送大消息不是一个好习惯。一种选择是您是否可以压缩或拆分消息。请看一下kafka中的以下配置
message.max.bytes
replica.fetch.max.bytes
fetch.message.max.bytes
最大请求大小
【讨论】：
-
谢谢，但我的问题更针对雪花连接器。如前所述，我们通过将实际消息存储在 s3 上并在 kafka 消息中传递 S3 URL 来处理大型消息。抱歉，如果问题不清楚。
-
Snowflake 连接器不过是一种 kafka 连接器（同步/源）。不是你自己写producer和consumer，而是在connector中抽象出来了，所以如果非要自己写producer和consumer，也会有同样的kafka配置要求