无法使用 Spark 连接器从 GreenPlum 读取

Question

请有人可以帮助我摆脱这个问题。

我正在尝试使用 GreenPlum-Spark 连接器从 Greenplum 读取数据。我使用了从https://network.pivotal.io/products/pivotal-gpdb/ 下载的 jar greenplum-spark_2.11-1.5.0.jar

我正在尝试从 spark-shell 和导入的 jar 访问 greenplum，如下所示

C:\spark-shell --jars C:\jars\greenplum-spark_2.11-1.6.2.jar

scala>val gscReadOptionMap = Map(
      "url" -> "jdbc:postgresql://server-ip:5432/db_name",
      "user" -> "user_id",
      "password" -> "pwd",
      "dbschema" -> "schema_name",
      "dbtable" -> "table_name",
      "driver" -> "org.postgresql.Driver"
)

scala>val gpdf = spark.read.format("greenplum").options(gscReadOptionMap).load()

（或）

scala>val gpdf = spark.read.format("io.pivotal.greenplum.spark.GreenplumRelationProvider").options(gscReadOptionMap).load()

导致以下错误： java.lang.IllegalArgumentException：“schema_name”中不存在''。“table_name”表 在 io.pivotal.greenplum.spark.GreenplumRelationProvider.createRelation（GreenplumRelationProvider.scala:50） 在 org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:318) 在 org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:223) 在 org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:211) 在 org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:167) ... 49 省略

Answer 1

您的gscReadOptionMap 中缺少partitionColumn 选项。例如：

val gscOptionMap = Map(
    "url" -> "jdbc:postgresql://gsc-dev/tutorial",
    "user" -> "gpadmin",
    "password" -> "changeme",
    "dbschema" -> "faa",
    "dbtable" -> "otp_c",
    "partitionColumn" -> "airlineid"
)

更多详情请关注documentation。