如何修复 org.apache.kafka.common.config.ConfigException：缺少没有默认值的必需配置“group.id”答案

【问题标题】：How to fix org.apache.kafka.common.config.ConfigException: Missing required configuration "group.id" which has no default value如何修复 org.apache.kafka.common.config.ConfigException：缺少没有默认值的必需配置“group.id”
【发布时间】：2019-04-26 21:53:47
【问题描述】：

我有一个 Kafka 主题设置，并试图在 Hive 中创建一个外部表来查询 Kafka 流。

但是，当查询外部表时，我收到错误消息

Error: java.io.IOException: org.apache.kafka.common.config.ConfigException: Missing required configuration "group.id" which has no default value. (state=,code=0)

尝试在启动 Kafka 服务器时将group.id 放入server.properties。

尝试将group.id 放在外部表属性中。

CREATE EXTERNAL TABLE kafka_table2
  (`timestamp` timestamp , `page` string,  `newPage` boolean,
  added int, deleted bigint, delta double)
  STORED BY 'org.apache.hadoop.hive.kafka.KafkaStorageHandler'
  TBLPROPERTIES
  ("kafka.topic" = "connect-test", "kafka.bootstrap.servers"="mykafka:9092","kafka.group.id"="1")


INFO  : Completed compiling command(queryId=hive_20190426082255_729f8adb-bb23-4317-8f3f-2f9049b62bd7); Time taken: 0.6 seconds
INFO  : Executing command(queryId=hive_20190426082255_729f8adb-bb23-4317-8f3f-2f9049b62bd7): select * from kafka_table2
INFO  : Completed executing command(queryId=hive_20190426082255_729f8adb-bb23-4317-8f3f-2f9049b62bd7); Time taken: 0.018 seconds
INFO  : OK
Error: java.io.IOException: org.apache.kafka.common.config.ConfigException: Missing required configuration "group.id" which has no default value. (state=,code=0)

【问题讨论】：

group.id 是消费者属性，所以必须在消费者端设置...
感谢回复，这是kafka-hive集成，所以没有配置consumer。
是的... Hive 正在将 Kafka 主题读入表中，因此它在内部打开了一个 Consumer 实例

标签： hive apache-kafka

【解决方案1】：

您应该在 TBLPROPERTIES 中放入“kafka.consumer.group.id”="1" 而不是 "kafka.group.id"="1"。

见：https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.1.0/integrating-hive/content/hive_set_consumer_producer.html

【讨论】：