如何配置 Kafka-Python client.dns.lookup = "use_all_dns_ips"

Question

我想用 client.dns.lookup = "use_all_dns_ips" 配置我的 python 生产者/消费者 但是像kafka-python（2.0.1）和confluent-kafka（1.3.0）这样的python kafka客户端都不支持这个

这就是我生成生产者对象的方式

producer = KafkaProducer({
'bootstrap_servers': [localhost:1234,localhost:1235,localhost:1236],
"client.dns.lookup" = "use_all_dns_ips"
})

我收到以下错误消息

cimpl.KafkaException: KafkaError{code=_INVALID_ARG,val=-186,str="No such configuration property: "client.dns.lookup""}

有没有办法使用这个配置？

Answer 1

Kafka-python(2.0.1) 和 confluent-kafka(1.3.0) 都不支持 client.dns.lookup 选项。请参考以下列表。

Kafka-python(KafkaProducer) 支持选项列表

网址：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaProducer.html

• bootstrap_servers
• client_id (str)
• key_serializer（可调用）
• value_serializer（可调用）
• compression_type (str)
• 重试次数（整数）
• batch_size (int)
• linger_ms (int)
• 分区器（可调用）
• buffer_memory (int)
• connections_max_idle_ms
• max_block_ms (int)
• max_request_size (int)
• metadata_max_age_ms (int)
• retry_backoff_ms (int)
• request_timeout_ms (int)
• receive_buffer_bytes (int)
• send_buffer_bytes (int)
• socket_options（列表）
• reconnect_backoff_ms (int)
• reconnect_backoff_max_ms (int)
• max_in_flight_requests_per_connection (int)
• security_protocol (str)
• ssl_context (ssl.SSLContext)
• ssl_check_hostname (bool)
• ssl_cafile (str)
• ssl_certfile (str)
• ssl_keyfile (str)
• ssl_password (str)
• ssl_crlfile (str)
• ssl_ciphers (str)
• api_version（元组）
• api_version_auto_timeout_ms (int)
• metric_reporters（列表）
• metrics_num_samples (int)
• metrics_sample_window_ms (int)
• 选择器（selectors.BaseSelector）
• sasl_mechanism (str)
• sasl_plain_username (str)
• sasl_plain_password (str)
• sasl_kerberos_service_name (str)
• sasl_kerberos_domain_name (str)
• sasl_oauth_token_provider (AbstractTokenProvider)

Confluent-kafka(KafkaProducer) 支持选项列表

网址：https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md

• transactional.id
• transaction.timeout.ms
• enable.idempotence
• enable.gapless.guarantee
• queue.buffering.max.messages
• queue.buffering.max.kbytes
• queue.buffering.max.ms
• linger.ms
• message.send.max.retries
• 重试
• retry.backoff.ms
• queue.buffering.backpressure.threshold
• compression.codec
• compression.type
• batch.num.messages
• delivery.report.only.error
• dr_cb
• dr_msg_cb
• request.required.acks
• 回答
• request.timeout.ms
• message.timeout.ms
• delivery.timeout.ms
• queuing.strategy
• produce.offset.report
• 分区器
• partitioner_cb
• msg_order_cmp
• compression.codec
• compression.type
• 压缩级别
• 内置功能
• client.id
• metadata.broker.list
• bootstrap.servers
• message.max.bytes
• message.copy.max.bytes
• receive.message.max.bytes
• max.in.flight.requests.per.connection
• max.in.flight
• metadata.request.timeout.ms
• topic.metadata.refresh.interval.ms
• 元数据.max.age.ms
• topic.metadata.refresh.fast.interval.ms
• topic.metadata.refresh.fast.cnt
• topic.metadata.refresh.sparse
• topic.blacklist
• 调试
• socket.timeout.ms
• socket.blocking.max.ms
• socket.send.buffer.bytes
• socket.receive.buffer.bytes
• socket.keepalive.enable
• socket.nagle.disable
• socket.max.fails
• broker.address.ttl
• broker.address.family
• 重新连接.backoff.jitter.ms
• 重新连接.backoff.ms
• 重新连接.backoff.max.ms
• statistics.interval.ms
• enabled_events
• error_cb
• throttle_cb
• stats_cb
• log_cb
• log_level
• log.queue
• log.thread.name
• enable.random.seed
• log.connection.close
• background_event_cb
• socket_cb
• connect_cb
• closesocket_cb
• open_cb
• 不透明
• default_topic_conf
• internal.termination.signal
• api.version.request
• api.version.request.timeout.ms
• api.version.fallback.ms
• broker.version.fallback
• security.protocol
• ssl.cipher.suites
• ssl.curves.list
• ssl.sigalgs.list
• ssl.key.location
• ssl.key.password
• ssl.key.pem
• ssl_key
• ssl.certificate.location
• ssl.certificate.pem
• ssl_certificate
• ssl.ca.location
• ssl_ca
• ssl.crl.location
• ssl.keystore.location
• ssl.keystore.password
• enable.ssl.certificate.verification
• ssl.endpoint.identification.algorithm
• ssl.certificate.verify_cb
• sasl.mechanisms
• sasl.机制
• sasl.kerberos.service.name
• sasl.kerberos.principal
• sasl.kerberos.kinit.cmd
• sasl.kerberos.keytab
• sasl.kerberos.min.time.before.relogin
• sasl.username
• sasl.password
• sasl.oauthbearer.config
• enable.sasl.oauthbearer.unsecure.jwt
• oauthbearer_token_refresh_cb
• plugin.library.paths
• 拦截器
• client.rack
• 不透明