ibis ImpalaTable 到 pyspark 数据框

Question

就我而言，我需要将 impala 数据加载到 spark(pyspark)。 因为我想用spark mllib的FPGrowth。

数据在 kudu 中，由 impala 制作。在spark上直接连接kudu被相关部门拒绝。而且我也无法连接cloudera制作的impala jdbc。
所以我最后的选择是

1. 使用 ibis (https://github.com/ibis-project/ibis) 加载数据
2. 将ImpalaTable 转换为spark 的Dataframe

但我找不到方法。
我想错了吗？

Answer 1

以前，this way 不适合我。
我可以获得表的架构，但由于超时而无法查询。

我终于发现了一个问题。 我的问题是由防火墙引起的。
我只打开了主节点的端口，但是我需要打开数据节点的端口。
现在一切都很好。