【问题标题】:UnsatisfiedLinkError on Lib rocks DB dll when developing with Kafka Streams使用 Kafka Streams 开发时,Lib Rocks DB dll 上的 UnsatisfiedLinkError
【发布时间】:2017-09-30 05:52:45
【问题描述】:

我正在我的开发 Windows 机器上编写一个 Kafka Streams 应用程序。 如果我尝试使用 Kafka Streams 的 leftJoin 和 branch 功能,我会在执行 jar 应用程序时收到以下错误:

Exception in thread "StreamThread-1" java.lang.UnsatisfiedLinkError: C:\Users\user\AppData\Local\Temp\librocksdbjni325337723194862275.dll: Can't find dependent libraries
    at java.lang.ClassLoader$NativeLibrary.load(Native Method)
    at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1941)
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1824)
    at java.lang.Runtime.load0(Runtime.java:809)
    at java.lang.System.load(System.java:1086)
    at org.rocksdb.NativeLibraryLoader.loadLibraryFromJar(NativeLibraryLoader.java:78)
    at org.rocksdb.NativeLibraryLoader.loadLibrary(NativeLibraryLoader.java:56)
    at org.rocksdb.RocksDB.loadLibrary(RocksDB.java:64)
    at org.rocksdb.RocksDB.<clinit>(RocksDB.java:35)
    at org.rocksdb.Options.<clinit>(Options.java:22)
    at org.apache.kafka.streams.state.internals.RocksDBStore.openDB(RocksDBStore.java:115)
    at org.apache.kafka.streams.state.internals.Segment.openDB(Segment.java:38)
    at org.apache.kafka.streams.state.internals.Segments.getOrCreateSegment(Segments.java:75)
    at org.apache.kafka.streams.state.internals.RocksDBSegmentedBytesStore.put(RocksDBSegmentedBytesStore.java:72)
    at org.apache.kafka.streams.state.internals.ChangeLoggingSegmentedBytesStore.put(ChangeLoggingSegmentedBytesStore.java:54)
    at org.apache.kafka.streams.state.internals.MeteredSegmentedBytesStore.put(MeteredSegmentedBytesStore.java:101)
    at org.apache.kafka.streams.state.internals.RocksDBWindowStore.put(RocksDBWindowStore.java:109)
    at org.apache.kafka.streams.state.internals.RocksDBWindowStore.put(RocksDBWindowStore.java:101)
    at org.apache.kafka.streams.kstream.internals.KStreamJoinWindow$KStreamJoinWindowProcessor.process(KStreamJoinWindow.java:65)
    at org.apache.kafka.streams.processor.internals.ProcessorNode$1.run(ProcessorNode.java:48)
    at org.apache.kafka.streams.processor.internals.StreamsMetricsImpl.measureLatencyNs(StreamsMetricsImpl.java:188)
    at org.apache.kafka.streams.processor.internals.ProcessorNode.process(ProcessorNode.java:134)
    at org.apache.kafka.streams.processor.internals.ProcessorContextImpl.forward(ProcessorContextImpl.java:83)
    at org.apache.kafka.streams.kstream.internals.KStreamFlatMapValues$KStreamFlatMapValuesProcessor.process(KStreamFlatMapValues.java:43)
    at org.apache.kafka.streams.processor.internals.ProcessorNode$1.run(ProcessorNode.java:48)
    at org.apache.kafka.streams.processor.internals.StreamsMetricsImpl.measureLatencyNs(StreamsMetricsImpl.java:188)
    at org.apache.kafka.streams.processor.internals.ProcessorNode.process(ProcessorNode.java:134)
    at org.apache.kafka.streams.processor.internals.ProcessorContextImpl.forward(ProcessorContextImpl.java:83)
    at org.apache.kafka.streams.kstream.internals.KStreamFilter$KStreamFilterProcessor.process(KStreamFilter.java:44)
    at org.apache.kafka.streams.processor.internals.ProcessorNode$1.run(ProcessorNode.java:48)
    at org.apache.kafka.streams.processor.internals.StreamsMetricsImpl.measureLatencyNs(StreamsMetricsImpl.java:188)
    at org.apache.kafka.streams.processor.internals.ProcessorNode.process(ProcessorNode.java:134)
    at org.apache.kafka.streams.processor.internals.ProcessorContextImpl.forward(ProcessorContextImpl.java:83)
    at org.apache.kafka.streams.processor.internals.SourceNode.process(SourceNode.java:70)
    at org.apache.kafka.streams.processor.internals.StreamTask.process(StreamTask.java:197)
    at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:641)
    at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:368)

似乎 Kafka 没有找到 DLL,但等等……我正在开发 Java 应用程序!

可能是什么问题?如果我尝试像filter 这样更简单的流式操作,为什么这个错误不会显示出来?

更新:

仅当代理中存在消息时才会出现此问题。我正在使用 Kafka Streams 版本 0.10.2.1。

这是引发问题的一段代码

public class KafkaStreamsMainClass {

    private KafkaStreamsMainClass() {
    }

    public static void main(final String[] args) throws Exception {
        Properties streamsConfiguration = new Properties();
        streamsConfiguration.put(StreamsConfig.APPLICATION_ID_CONFIG, "kafka-streams");
        streamsConfiguration.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-server:9092");
        streamsConfiguration.put(AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG, "schema-registry:8082");
        streamsConfiguration.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 10 * 1000);
        streamsConfiguration.put(StreamsConfig.CACHE_MAX_BYTES_BUFFERING_CONFIG, 0);
        streamsConfiguration.put(StreamsConfig.KEY_SERDE_CLASS_CONFIG, GenericAvroSerde.class);
        streamsConfiguration.put(StreamsConfig.VALUE_SERDE_CLASS_CONFIG, GenericAvroSerde.class);
        KStreamBuilder builder = new KStreamBuilder();
        KStream<GenericRecord, GenericRecord> sourceStream = builder.stream(SOURCE_TOPIC);

        KStream<GenericRecord, GenericRecord> finishedFiltered = sourceStream
                .filter((GenericRecord key, GenericRecord value) -> value.get("endTime") != null);

        KStream<GenericRecord, GenericRecord>[] branchedStreams = sourceStream
                .filter((GenericRecord key, GenericRecord value) -> value.get("endTime") == null)
                .branch((GenericRecord key, GenericRecord value) -> value.get("firstField") != null,
                        (GenericRecord key, GenericRecord value) -> value.get("secondField") != null);

        branchedStreams[0] = finishedFiltered.join(branchedStreams[0],
                (GenericRecord value1, GenericRecord value2) -> {
                    return value1;
                }, JoinWindows.of(TimeUnit.SECONDS.toMillis(2)));

        branchedStreams[1] = finishedFiltered.join(branchedStreams[1],
                (GenericRecord value1, GenericRecord value2) -> {
                    return value1;
                }, JoinWindows.of(TimeUnit.SECONDS.toMillis(2)));

        KafkaStreams streams = new KafkaStreams(builder, streamsConfiguration);
        streams.setUncaughtExceptionHandler((Thread thread, Throwable throwable) -> {
            throwable.printStackTrace();
        });
        streams.start();

        Runtime.getRuntime().addShutdownHook(new Thread(streams::close));
    }

}

我打开了 Maven 下载的 rocksdbjni-5.0.1.jar 存档,其中包含 librocksdbjni-win64.dll 库。似乎它正在尝试从 RocksDB 外部而不是内部检索库。

我正在 Windows 7 机器上开发。

你有没有遇到过这个问题?

【问题讨论】:

  • 这很奇怪。作为参考,我昨天在 Windows 10 w/Oracle JDK 1.8 上运行了 mvn test Confluent 的 Kafka Streams 演示应用程序套件 (github.com/confluentinc/examples),并且(有一个例外是由于 Windows 上的 Kafka 代理错误 = 与 Kafka Streams 无关)一切都开箱即用。也许您可以提供有关您的环境(Windows 版本、Java 版本等)、您正在使用的 Kafka Streams 的确切版本以及代码以便更容易重现的更多详细信息?
  • 我想我找到了问题所在。在我的本地 Maven 存储库中,我有两个版本的 RocksDB,版本 4.4.1 和 5.0.1(这是我正在使用的 Kafka Streams 0.10.2 使用的版本)。我删除了 4.4.1 版本,问题就消失了。奇怪的是 Maven 使用的是旧版本的库..
  • 不,问题又来了。它没有炫耀,因为我在代理中没有消息(它们已被 Kafka 删除作业删除)。我将使用所需信息更新我的问题
  • @gvdm - 这个问题解决了吗?我遇到了完全相同的问题。奇怪的是相同的设置在另一台类似的机器上工作。

标签: java apache-kafka apache-kafka-streams rocksdb


【解决方案1】:

您缺少rocksdb dll 所依赖的一些本机库。见https://github.com/facebook/rocksdb/issues/1302

【讨论】:

  • 是的,这很明显,但为什么 Maven Java 控制台应用程序会尝试使用外部 DLL 库?它应该只使用类路径中的东西!
  • 嗨@Nicholas。我解决了升级到 1.0.0 的问题。更多答案stackoverflow.com/questions/43742423/…。感谢您的支持。
【解决方案2】:

最近我也遇到了这个问题。我设法分两步解决了这个问题:

  1. 从C:\Users\[your_user]\AppData\Local\Temp 文件夹中删除所有librocksdbjni[...].dll 文件。
  2. 在你的项目中为rocksdb添加maven依赖,这对我有用:https://mvnrepository.com/artifact/org.rocksdb/rocksdbjni/5.0.1

编译您的 Kafka Stream 应用程序并运行它。它应该工作!

【讨论】:

  • 嗨@David,感谢您的回复。此解决方案是否也适用于 Linux 开发环境,还是会在这样的环境中弄乱类路径?
  • 你好@gvdm,对不起,我不知道,因为实际上我只能在 Windows 中开发。
  • 好的@David,我会尽快让你知道
  • 嗨@David。我解决了升级到 1.0.0 的问题。更多答案stackoverflow.com/questions/43742423/…。感谢您的支持。
  • 非常感谢,我用的是Windows,升级版本没用
【解决方案3】:

我将我的 kafka-streams 项目更新到最新发布的 1.0.0 版本。

此版本存在this 错误,但在对其进行修补并将此修补版本上传到内部 Artifactory 服务器后,我们能够在 Windows 和 Linux 上执行我们的 kafka-streams 代理。 下一个版本 1.0.1 和 1.1.0 将修复此错误,因此一旦发布其中一个版本,我们将切换到它们而不是修补版本。

总结一下,Kafka 开发人员在 1.0.0 版本中解决了这个错误。

【讨论】:

    【解决方案4】:

    我的问题是/tmp/ 目录(CentOS)中的权限

    rockdb 使用

    java.io.tmpdir 
    

    系统属性在内部决定在哪里放置librocksdbjnifile,通常是这样的/tmp/librocksdbjni2925599838907625983.so

    通过在 kafka-streams 应用程序中设置具有适当权限的不同 tempdir 属性来解决。

    System.setProperty("java.io.tmpdir", "/opt/kafka-streams/tmp");
    

    【讨论】:

      【解决方案5】:

      我在使用 jdk 1.8 时遇到了同样的问题。当我将它更改为 jre 时它得到了解决。

      【讨论】:

        【解决方案6】:

        在 Mac 中遇到类似问题。根据此链接,https://github.com/facebook/rocksdb/issues/5064 问题与安装在我的 Mac OS 版本 (10.11.6) 中的旧 libc 有关。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2020-12-30
          • 1970-01-01
          相关资源
          最近更新 更多