kafka-connect-jdbc 源连接器OOM答案

【问题标题】：kafka-connect-jdbc source connector OOMkafka-connect-jdbc 源连接器OOM
【发布时间】：2020-01-15 01:01:39
【问题描述】：

我正在使用 kafka-connect-jdbc:5.3.1，当我运行连接器时，它会将我踢出异常：java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "Thread-11"

我尝试将堆空间增加到 4gb，但仍然失败。 EC2 实例类型为 t2.large，记录数最多为 400 万。

我的属性文件看起来像

name=jdbc_source_postgres
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
key.converter=org.apache.kafka.connect.storage.StringConverter
key.converter.schemas.enable=false
value.converter=org.apache.kafka.connect.json.JsonConverter
value.converter.schemas.enable=false

connection.url=jdbc:postgresql:/localhost:5432/demo?user=********&password=*******&defaultFetchSize=10000&useCursorFetch=true
tasks.max=10
table.types=TABLE
table.whitelist=sample_table
mode=timestamp
timestamp.column.name=last_modified
validate.non.null=false
batch.max.rows=100
topic.prefix=kafka02-
poll.interval.ms=3600

我通过 EC2 上的 Docker 容器运行此连接器，我的 docker 文件如下所示

version: "3"
services:
  connect:
    image: kafka-connect:latest
    ports:
      - 80:8083
    network_mode: host
    volumes:
      - .:/src:cached
    environment:
      CONNECT_REST_PORT: 8083
      CONNECT_PLUGIN_PATH: "/usr/share/java"
      CLASSPATH: /usr/share/java/monitoring-interceptors/monitoring-interceptors-5.3.0.jar
      CONNECT_GROUP_ID: "connect"
      CONNECT_CONFIG_STORAGE_TOPIC: connect-configs
      CONNECT_OFFSET_STORAGE_TOPIC: connect-offsets
      CONNECT_STATUS_STORAGE_TOPIC: connect-status
      CONNECT_KAFKA_HEAP_OPTS: "-Xms256M -Xmx8G"
      CONNECT_BOOTSTRAP_SERVERS: localhost:9092
    command: connect-standalone /src/connect-standalone.properties /src/connectors/kafka-source.properties

我已经尝试了配置调整的每一种可能性，但都失败了。任何帮助将不胜感激

【问题讨论】：

标签： docker jdbc apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

该属性不是CONNECT_KAFKA_HEAP_OPTS。只是KAFKA_HEAP_OPTS

请注意，t2.large 本身最大为 8 GB，并且您需要操作系统的开销，因此无论如何您都无法将 8GB 纯粹分配给容器中运行的 Java 进程

旁注，建议不要覆盖独立连接的命令，而是让任务在可能的情况下分布在连接工作人员集群中

【讨论】：