通过拆分和运行将 ListenableFuture<Iterable<A>> 变为 Iterable<ListenableFuture<B>>

Question

我正在寻找将ListenableFuture<Iterable<A>> 转换为单个ListenableFutures 序列的最佳方法。这是我正在寻找的方法签名：

public <A, B> Iterable<ListenableFuture<B>> splitAndRun(
    final ListenableFuture<Iterable<A>> elements, 
    final Function<A, B> func, 
    final ListeningExecutorService executor
);

如果我返回 ListenableFuture<Iterable<ListenableFuture<B>>> 显然我可以这样做，但我觉得我应该能够拆分并运行它并保持它的异步性。

这是我目前的代码，但你会注意到结尾处的讨厌的.get()，这相当毁了事情。如果我的事情过于复杂，请原谅。

public class CallableFunction<I, O> implements Callable<O>{
  private final I input;
  private final Function<I, O> func;

  public CallableFunction(I input, Function<I, O> func) {
    this.input = input;
    this.func = func;
  }

  @Override public O call() throws Exception {
    return func.apply(input);
  }
}

public <A, B> Iterable<ListenableFuture<B>> splitAndRun(
    final ListenableFuture<Iterable<A>> elements, 
    final Function<A, B> func, 
    final ListeningExecutorService executor
) throws InterruptedException, ExecutionException {
  return Futures.transform(elements, 
      new Function<Iterable<A>, Iterable<ListenableFuture<B>>>() {
    @Override
    public Iterable<ListenableFuture<B>> apply(Iterable<A> input) {
      return Iterables.transform(input, new Function<A, ListenableFuture<B>>() {
        @Override
        public ListenableFuture<B> apply(A a) {
          return executor.submit(new CallableFunction<A, B>(a, func));
        }
      });
    }
  }, executor).get();
}

Answer 1

如果您将ListenableFuture 视为一个盒子，为了从该盒子中获取某些内容，您必须阻塞线程（调用get 方法）。

不确定实现splitAndRun 方法是否会对您有所帮助。您仍然会有一个返回 ListenableFuture<Iterable<A>> 的异步操作。

不过，将Iterable<ListenableFuture<A>> 作为单个ListenableFuture<Iterable<A>> 加入的反向操作可能很有用。如果要将多个异步计算收集到一个中，则可能需要使用它。

Answer 2

（替代my original answer）

但是，如果转换速度很慢，或者某些输入可能失败但其他输入成功，该怎么办？在这种情况下，我们希望单独转换每个输出。另外，我们希望确保转换只发生一次。我们的集合转换方法不做出此保证。因此，在您的示例代码中，对输出的每次迭代都会向执行程序提交新任务，即使之前提交的任务可能已经完成。正因如此，我们推荐Iterables.transform和朋友们只在改造轻量级的时候使用。 （通常，如果你正在做一些重量级的事情，你的转换函数会抛出一个检查异常，Function 不允许。考虑这是一个提示 :) 当然，你的例子恰好不会触发提示。）

这在代码中意味着什么？基本上，我们将颠倒我在其他答案中给出的操作顺序。我们将首先从Future<Iterable<A>> 转换为Iterable<Future<A>>。 然后我们将为每个A 提交一个单独的任务，以将其转换为B。对于后一步，我们将提供一个Executor so that the transformation doesn't block some innocent thread。 （我们现在只需要Futures.transform，所以我静态导入了它。）

List<ListenableFuture<A>> individuals = newArrayList();
for (int i = 0; i < knownSize; i++) {
  final int index = i;
  individuals.add(transform(input, new Function<List<A>, A>() {
    @Override
    public A apply(List<A> values) {
      return values.get(index);
    }
  }));
}

List<ListenableFuture<B>> result = newArrayList();
for (ListenableFuture<A> original : individuals) {
  result.add(transform(original, function, executor));
}
return result;

反正就是这样。但是我的实现很愚蠢。我们可以轻松地同时执行这两个步骤：

List<ListenableFuture<B>> result = newArrayList();
for (int i = 0; i < knownSize; i++) {
  final int index = i;
  result.add(transform(input, new Function<List<A>, B>() {
    @Override
    public B apply(List<A> values) {
      return function.apply(values.get(index));
    }
  }, executor));
}
return result;

因为这会调用 n 个 Futures.transform 而不是 1，并且因为它使用单独的 Executor，所以如果转换是重量级的，它比我的其他解决方案要好，如果它是轻量级的则更糟。另一个需要注意的是：只有当您知道您将拥有多少输出时，这才有效。

Answer 3

这有两个部分。第一个是将Future<Iterable<A>> 转换为Future<Iterable<B>>。这可以通过嵌套Futures.transform 和Iterables.transform 来实现（如果 转换速度很快——在替代答案中有更多信息）。这是代码（尽管我已经将Iterables.transform 换成了Lists.transform，这需要Future<List<A>>，原因我稍后也会解释）：

final ListenableFuture<List<B>> transformed =
    Futures.transform(input, new Function<List<A>, List<B>>() {
      @Override
      public List<B> apply(List<A> inputs) {
        return Lists.transform(inputs, function);
      }
    });

现在是从Future<Iterable<B>> 到Iterable<Future<B>> 的转换。正如 Mairbek 所说，这通常是不可能的：在我们知道 Future 将返回多少之前，我们无法知道输出将有多少元素。但是，如果我们确实知道输出中的元素数量，我们就可以让它工作。我们将申请另一个Futures.transform。 （这就是我在上面使用List 的原因。普通的Collection 也可以工作，但代码会更丑。）

List<ListenableFuture<B>> result = newArrayList();
for (int i = 0; i < knownSize; i++) {
  final int index = i;
  result.add(Futures.transform(transformed, new Function<List<B>, B>() {
    @Override
    public B apply(List<B> values) {
      return values.get(index);
    }
  }));
}
return result;

当然，列表中的每个Future 都会同时完成——只有当完整输入Future 完成时。也就是我们不能更早的得到结果；我们只能以不同的格式获取它们（即，单个 Future 实例而不是批量列表）。这是以Future<Iterable<A>> 开头的必要限制。