HashBiMap 被阻止

Question

我们在我们的应用程序中使用了 HashBiMap，我们是这样创建的

HashBiMap<String, String> map = HashBiMap.create();

我们有 guava-26.0-jre 版本的 guava。

最近注意到我们的应用程序挂起并且无法处理任何其他请求。得到一个线程转储并注意到类似的事情

Thread.State: RUNNABLE
native=false, suspended=false, blockCount=1, waitCount=4, cpu=9h, 12m, 45s, 434ms, user=9h, 10m, 59s, 990ms
    com.google.common.collect.HashBiMap.seekByKey(HashBiMap.java:223)
    com.google.common.collect.HashBiMap.get(HashBiMap.java:254)

Thread.State: RUNNABLE
native=false, suspended=false, blockCount=1, waitCount=6, cpu=9h, 11m, 49s, 453ms, user=9h, 10m, 3s, 760ms
    com.google.common.collect.HashBiMap.seekByKey(HashBiMap.java:223)
    com.google.common.collect.HashBiMap.get(HashBiMap.java:254)

Thread.State: RUNNABLE
native=false, suspended=false, blockCount=274, waitCount=6615, cpu=22h, 31m, 29s, 966ms, user=22h, 27m, 30s, 540ms
    com.google.common.collect.HashBiMap.seekByKey(HashBiMap.java:223)
    com.google.common.collect.HashBiMap.get(HashBiMap.java:254)

Thread.State: RUNNABLE
native=false, suspended=false, blockCount=91, waitCount=2443, cpu=22h, 29m, 51s, 541ms, user=22h, 25m, 54s, 140ms
    com.google.common.collect.HashBiMap.seekByKey(HashBiMap.java:223)
    com.google.common.collect.HashBiMap.get(HashBiMap.java:254)

上面还有几个其他线程在调用 get 时被阻塞，但等待时间最长的是 cpu=22h, 31m, 29s, 966ms

Thread.State: RUNNABLE
native=false, suspended=false, blockCount=3, waitCount=32, cpu=5h, 46m, 7s, 733ms, user=5h, 45m, 500ms
    com.google.common.collect.HashBiMap.seekByValue(HashBiMap.java:234)
    com.google.common.collect.HashBiMap.put(HashBiMap.java:274)
    com.google.common.collect.HashBiMap.forcePut(HashBiMap.java:301)

只有一个线程在等待上面的 forcePut。

HashBiMap.get 会进入循环以查找键的值并且永远不会返回，是否有任何理由。

Answer 1

TL;DR

根据 Xaerxess 的建议，使用 Maps#synchronizedBiMap 以防多线程访问地图。你永远不知道当有多个线程时会发生什么。

对于那些对发生的事情感到好奇的人

HashBiMap.get 会进入循环是否有任何原因？ 找到键的值并且永不返回。

---

这是一个关于多线程如何创建“意外”结果的有趣示例。
我们看一下方法seekByKey的HashBiMap.java:223行

private BiEntry<K, V> seekByKey(@Nullable Object key, int keyHash) {
  for (BiEntry<K, V> entry = hashTableKToV[keyHash & mask];
      entry != null;
      entry = entry.nextInKToVBucket) {
    if (keyHash == entry.keyHash && Objects.equal(key, entry.key)) {
      return entry;
    }
  }
  return null;
}

第223行是

      entry = entry.nextInKToVBucket) {

阻塞在这行意味着有一个无限循环，这是由于entry和entry.nextInKToVBucket的循环引用。

一种可能的情况是：在put方法中，

private V put(@Nullable K key, @Nullable V value, boolean force) {
  ...

  BiEntry<K, V> newEntry = new BiEntry<>(key, keyHash, value, valueHash);
  if (oldEntryForKey != null) {
    ...
  } else {
    insert(newEntry, null);
    rehashIfNecessary();
    return null;
  }
}

不幸的是，假设同时来自两个线程的两个具有相同键和值的调用，创建了两个新条目 A 和 B。然后在 insert 方法中，

private void insert(BiEntry<K, V> entry, @Nullable BiEntry<K, V> oldEntryForKey) {
  int keyBucket = entry.keyHash & mask; // 1
  entry.nextInKToVBucket = hashTableKToV[keyBucket]; // Step 2
  hashTableKToV[keyBucket] = entry; // 3
  ...
}

假设 A 先完成，hashTableKToV[keyBucket] = A，A.nextInKToVBucket = null。当B来了，完成了步骤2，B.nextInKToVBucket=A。假设在执行步骤3之前，A的线程正在执行rehashIfNecessary，不幸的是需要rehash。

private void rehashIfNecessary() {
  BiEntry<K, V>[] oldKToV = hashTableKToV;
  if (Hashing.needsResizing(size, oldKToV.length, LOAD_FACTOR)) {
    int newTableSize = oldKToV.length * 2;

    this.hashTableKToV = createTable(newTableSize);  // Step 4
    ...

    for (BiEntry<K, V> entry = firstInKeyInsertionOrder; 
        entry != null;
        entry = entry.nextInKeyInsertionOrder) {
      insert(entry, entry); // step 5
    }
    ...
  }
}

当第 4 步完成时，hashTableKToV 被清除。不幸的是，B的线程此时执行了第3步，hashTableKToV[keyBucket]=B。A的线程继续第5步，再次插入A，第2步之后A.nextInKToVBucket=A，造成循环引用。因此seekByKey 中的无限循环。

这里是如何重现上述情况的示例（不是 100%，可能需要尝试多次）：

import java.util.ArrayList;
import java.util.Collection;
import java.util.List;
import java.util.concurrent.Callable;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;

import com.google.common.collect.BiMap;
import com.google.common.collect.HashBiMap;

public class HashBiMapConcurrentTest {
    public static void main(String[] args) throws InterruptedException {
        BiMap<String, String> biMap = HashBiMap.create();
        ExecutorService executors = Executors.newFixedThreadPool(4);
        Collection<Callable<Integer>> tasks = new ArrayList<>();
        Callable<Integer> task = () -> {
            for (int i = 0; i < 1000; i++) {
                biMap.put("A" + i, "B" + i);
                biMap.get("A" + i);
            }
            System.out.println("Done");
            return 0;
        };
        tasks.add(task);
        tasks.add(task);
        List<Future<Integer>> futures = executors.invokeAll(tasks);
        for (Future<Integer> future : futures) {
            while (!future.isDone()) {
                Thread.sleep(10);
            }
        }
        executors.shutdown();
    }
}