从 Spark 作业中读取 Impala 表和列名

Question

我在不同的 impala 数据库中有表，存储为 parquet 文件，结构如下。我试图找出一种好方法来扫描所有数据库下的所有表名和列名，我希望从那里检查表名或列名是否包含某些值，如果是，我想读取这些值等等

我知道有像 describe database.tablename 这样的 impala 查询，但是对于所有其他处理，我想在 spark 工作中执行此操作。有人可以帮助阐明这一点吗？非常感谢。

database1.tableOne
database1.tableTwo
database2.tableThree
....

Answer 1

您需要使用包含描述表的 .query() 选项使用 spark 的 jdbc 数据框连接到 impala。然后读取从 jdbc 运算符返回的数据帧给出列信息。