如何使用 MSK 连接将数据从 AWS MSK (kafka) 流式传输到雪花

【问题标题】：how to stream data from AWS MSK (kafka) to snowflake using MSK connect如何使用 MSK 连接将数据从 AWS MSK (kafka) 流式传输到雪花
【发布时间】：2021-12-23 11:26:14
【问题描述】：

我正在尝试为雪花设置 MSK 连接器，但我几乎看不到任何有关如何执行此操作的文档。不幸的是，AWS 支持人员还推荐我使用 snowflake documentation 页面。

按照这个我可以创建一个 EC2 实例和衍生连接器，但我想进入无服务器模式并使用 MSK 连接器

我很难使用雪花的连接器属性，而 aws 没有提供太多关于它的信息

【问题讨论】：

标签： apache-kafka snowflake-cloud-data-platform apache-kafka-connect aws-msk

【解决方案1】：

正如插件页面上的回答，您需要将 Snowflake ZIP/JAR 插件上传到 S3，在连接器启动之前下载它们

https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-plugins.html

【讨论】：

谢谢，我遵循相同的方法，但仍然使用连接器配置。
卡住了怎么办？您链接到的页面中列出了所需的属性
在 cloudwatch 中看到以下异常：错误在对 /connectors 的 REST 调用中未捕获异常 (org.apache.kafka.connect.runtime.rest.errors.ConnectExceptionMapper:61) java.lang.IllegalArgumentException：最后编码字符（如果有的话，在填充之前）是一个有效的 base 64 字母，但不是一个可能的值。预计丢弃的位为零。
您是否正在向 REST API 发送有效的 JSON 对象？ - docs.snowflake.com/en/user-guide/…