【问题标题】:Kafka ConnectStandalone - java.lang.IllegalArgumentException: Malformed \uxxxx encodingKafka ConnectStandalone - java.lang.IllegalArgumentException:格式错误的 \uxxxx 编码
【发布时间】:2021-11-04 02:06:24
【问题描述】:

我正在独立运行 Kafka Connect

$ kafka_2.13-2.8.0/bin$ connect-standalone.sh ../config/connect-standalone.properties ../config/connect-snowflake-kafka-connector.properties ../libs/snowflake-kafka-connector-1.5.5.jar

出现 Snowflake Apache Kafka 错误。附图片中的错误

[2021-09-07 14:56:45,843] DEBUG WorkerSinkTask{id=snowflakeslink-0} Initializing and starting task for topics test-topic (org.apache.kafka.connect.runtime.WorkerSinkTask:299)
[2021-09-07 14:56:45,844] INFO 
[SF_KAFKA_CONNECTOR] SnowflakeSinkTask[ID:0]:start (com.snowflake.kafka.connector.SnowflakeSinkTask:101)
[2021-09-07 14:56:45,856] ERROR Stopping after connector error (org.apache.kafka.connect.cli.ConnectStandalone:117)
java.lang.IllegalArgumentException: Malformed \uxxxx encoding.
    at java.util.Properties.loadConvert(Properties.java:574)

【问题讨论】:

  • 您的属性文件是什么样的?该错误表明问题出在其中一个属性上。
  • 欢迎来到 StackOverflow!正如@Sergiu 所说,请编辑您的问题以包含您的配置文件,以及您用于启动 Kafka Connect 的命令。此外,最好将日志文件文本本身包含在您的问题中而不是图像中,因为这样可以让其他人更容易阅读并在将来搜索类似的错误。
  • 请澄清您的具体问题或提供其他详细信息以准确突出您的需求。正如目前所写的那样,很难准确地说出你在问什么。

标签: snowflake-cloud-data-platform apache-kafka-connect


【解决方案1】:

connect-standalone.sh 只接受属性文件参数。如果您将 JAR 文件作为 shell 参数提供给它,它会尝试将其解析为属性文件,并且会失败


您的雪花驱动 JAR 应通过 export 添加到 Java CLASSPATH,而不是作为脚本的参数。

例如

$ export CLASSPATH='/path/to/snowflake-client-driver.jar'
$ connect-standalone.sh connect-standalone.properties snowflake-demo-standalone.properties

但是(推荐),使用confluent hub install - https://www.confluent.io/hub/snowflakeinc/snowflake-kafka-connector

相关帖子 - Use Confluent Hub without Confluent Platform installation

这将更新配置属性 plugin.path 以添加连接器类

【讨论】:

  • 感谢您对我的帮助,我在执行连接器属性时删除了 .jar 文件。但是现在出现错误[2021-09-07 19:27:23,254] WARN [Consumer clientId=connector-consumer-snowflakeslink-0, groupId=connect-snowflakeslink] 到节点 -1 (localhost/127.0.0.1:9092) 的连接终止在认证过程中。这可能是由于以下任何原因造成的:(1) 由于使用早于 1.0.0 的代理的无效凭据而导致身份验证失败,(2) 防火墙阻止 Kafka TLS 流量(例如,它可能只允许 HTTPS 流量),(3) 瞬态网络问题(org.apache.kafka.clients.NetworkClient:769)
  • 那么,Kafka 是在 localhost 上运行的吗?
  • 是的,它已启动并正在运行 .kafka_2.13-2.8.0/bin$ jps 6728 Kafka 9592 ConsoleConsumer 25257 Jps 6332 QuorumPeerMain
  • 如果控制台消费者可以使用 --bootstrap-server localhost:9092 ,那么 Connect 也应该
  • WARN [SocketServer listenerType=ZK_BROKER, nodeId=0] /127.0.0.1 出现意外错误;关闭连接 (org.apache.kafka.common.network.Selector) org.apache.kafka.common.network.InvalidReceiveException: KAFKA 日志中的无效接收(大小 = 369296129 大于 104857600)
猜你喜欢
  • 2021-09-22
  • 2021-09-06
  • 2013-06-07
  • 2021-09-01
  • 2021-11-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-03-11
相关资源
最近更新 更多