presto hive 元存储连接

Question

在我的一个应用程序中，我一直在使用 presto 和 hive-metastore 从 s3 查询数据。 为了在生产中配置 hive-metastore（我将在 docker 单独的容器上部署 presto 和 hive）只是想知道，presto 是否使用 hive-metastore 创建多个连接以进行并发查询，或者它是否创建与 hive 的单个连接Metastore 并为所有并发查询使用相同的？

例如，假设在我的应用程序中运行 100 个查询实例，那么 presto 会使用 hive-metastore 创建 100 个连接，还是只创建一个连接并为所有查询使用相同的连接？

我对所有这些东西都很陌生，所以可能会遗漏一些明显的东西。提前致谢。

Answer 1

Presto 将为每个 Metastore 操作（Thrift RPC 调用）创建一个到 Metastore 的单独连接。没有连接池或重用，因此连接是短暂的。在计划检索表元数据和运行查询以检索分区元数据时访问元存储。对于表元数据，单个查询不应发出并发请求。对于分区元数据，并发性是通过hive.split-loader-concurrency 配置属性控制的，尽管这也包括在文件系统上列出文件。 Metastore 调用通常很快，因此并发连接数通常应远低于并发 Presto 查询数。