【问题标题】:psycopg2 fails on aws glue on subpackage _psycopgpsycopg2 在子包 _psycopg 上的 aws 胶水上失败
【发布时间】:2020-09-04 16:43:47
【问题描述】:

我正在尝试使用 Python 运行 Glue Spark 作业以与 Redshift 集群通信。

但我无法让 Psycopg2 运行……有人搞定了吗?它抱怨一个子包 _psycopg。

请帮忙!谢谢。

【问题讨论】:

    标签: psycopg2 aws-glue


    【解决方案1】:

    AWs 胶水无法处理非纯 Python 库的模块。尝试使用 pg8000 作为替代方案

    【讨论】:

    • 我从 pg8000 开始,但它的语法错误不足;我终于尝试了使用 Glue 安装的(旧)PyGreSQL 版本并解决了我的问题。
    【解决方案2】:

    现在使用 Glue 版本 2,您可以将 python 库作为参数传递给 Glue 作业。我使用 pyscopg2-binary 而不是 pyscopg2,它对我有用。然后在代码中我确实导入了 psycopg2。

    --additional-python-modules

    【讨论】:

      猜你喜欢
      • 2020-03-31
      • 1970-01-01
      • 2019-12-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-06-19
      • 2021-07-21
      相关资源
      最近更新 更多