来自不同数据源和数据库的异步多重查询

Question

我很难找到合适的解决方案：

我有几个结构相同但数据不同的数据库。当我的网络应用程序执行查询时，它必须为每个数据库分离这个查询并异步执行它，然后聚合来自所有数据库的结果并将其作为单个结果返回。另外，我希望能够传递将在其中执行查询的数据库列表，并且我还希望传递查询执行的最大过期时间。结果还必须包含每个数据库的元信息，例如额外的执行时间。

如果可以使用其他数据源，例如具有特定 API 的远程 Web 服务，而不是关系数据库，那就太好了。

我使用 Spring/Grail 并且需要 java 解决方案，但我很乐意听取任何建议。

UPD：我想找到准备好的解决方案，可能是框架或类似的东西。

Answer 1

这是基本的面向对象。您需要从您用来实现的机制（数据库查询或 Web 服务调用）中抽象出您试图实现的目标 - 加载数据。

这样的设计通常会涉及一个接口，该接口定义了可以做什么的契约，然后是多个实现类，这些类根据它们的实现来实现。

例如，您最终会得到一个类似于以下内容的界面：

public interface DataLoader
{
    public Collection<Data> loadData() throws DataLoaderException;
}

然后您将拥有JdbcDataLoader、WebServiceDataLoader 等实现。在您的情况下，您需要另一种类型的实现，给定一个或多个DataLoader 实例，运行每个实例以汇总结果。这个实现看起来像：

public class AggregatingDataLoader implements DataLoader
{
  private Collection<DataLoader> dataLoaders;
  private ExecutorService executorService;

  public AggregatingDataLoader(ExecutorService executorService, Collection<DataLoader> dataLoaders)
  {
    this.executorService = executorService;
    this.dataLoaders = dataLoaders;
  }

  public Collection<Data> loadData() throws DataLoaderException
  {
    Collection<DataLoaderCallable>> dataLoaderCallables = new ArrayList<DataLoaderCallable>>();

    for (DataLoader dataLoader : dataLoaders)
    {
      dataLoaderCallables.add(new DataLoaderCallable(dataLoader));  
    } 

    List<Future<Collection<Data>>> futures = executorService.invokeAll(dataLoaderCallables);

    Collection<Data> data = new ArrayList<Data>(); 
    for (Future<Collection<Data>> future : futures)
    {
       add.addAll(future.get());
    }      

    return data;
  }

  private class DataLoaderCallable implements Callable<Collection<Data>>
  {
    private DataLoader dataLoader;

    public DataLoaderCallable(DataLoader dataLoader)
    {
      this.dataLoader = dataLoader;  
    }

    public Collection<Data> call()
    {
      return dataLoader.load(); 
    }
  }
}

您需要为此添加一些超时和异常处理逻辑，但您明白了要点。

另一件重要的事情是您的调用代码应该只使用DataLoader 接口，以便您可以在测试期间交换不同的实现或使用模拟。