Databricks <-> Kafka - SSL 握手失败答案

【问题标题】：Databricks <-> Kafka - SSL handshake failedDatabricks <-> Kafka - SSL 握手失败
【发布时间】：2022-11-18 01:25:39
【问题描述】：

以下是我们在尝试读取流时收到的错误

Caused by: kafkashaded.org.apache.kafka.common.KafkaException: Failed to load SSL keystore /dbfs/FileStore/Certs/client.keystore.jks
Caused by: java.nio.file.NoSuchFileException: /dbfs/FileStore/Certs/client.keyst

尝试从 Kafka 读取流时，Databricks 无法找到密钥库文件。

df = spark.readStream \
 .format("kafka") \
 .option("kafka.bootstrap.servers","kafka server with port") \
 .option("kafka.security.protocol", "SSL") \
 .option("kafka.ssl.truststore.location",'/dbfs/FileStore/Certs/client.truststore.jks' ) \
 .option("kafka.ssl.keystore.location", '/dbfs/FileStore/Certs/client.keystore.jks') \
 .option("kafka.ssl.keystore.password", keystore_pass) \
 .option("kafka.ssl.truststore.password", truststore_pass) \
 .option("kafka.ssl.keystore.type", "JKS") \
 .option("kafka.ssl.truststore.type", "JKS") \
 .option("subscribe","sports")   \
 .option("startingOffsets", "earliest") \
 .load()

该文件存在于 dbfs 中并且也能够读取该文件。我们还在 datrbicks 中安装了 blob 存储，并尝试从 ADLS gen2 读取文件。驱动程序日志还有其他错误：22/11/04 12:18:07 ERROR DefaultSslEngineFactory: Modification time of key store could not be obtained。

我们正在尝试通过使用 SSL 密钥库对其进行身份验证来读取 kafka 流。连接似乎不起作用，因为数据块无法查看密钥库

【问题讨论】：

标签： ssl apache-kafka databricks

【解决方案1】：

我能够通过将 dbfs 前缀添加到原始路径来访问密钥库文件。因此，我没有使用路径 /dbfs/FileStore/Certs/client.truststore.jks，而是使用了 /dbfs/dbfs/FileStore/Certs/client.truststore.jks。在此处输入代码

但是我现在收到 SSL 握手错误，即使我创建的信任库基于服务器证书并且证书中的指纹与信任库指纹匹配。

kafkashaded.org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed Caused by: sun.security.validator.ValidatorException: PKIX path validation failed: java.security.cert.CertPathValidatorException: signature check failed Caused by: java.security.cert.CertPathValidatorException: signature check failed Caused by: java.security.SignatureException: Signature does not match.

【讨论】：