在 Apache Beam 2.9 上导入 cloud-spanner 时出错答案

【问题标题】：Error importing cloud-spanner on apache beam 2.9在 Apache Beam 2.9 上导入 cloud-spanner 时出错
【发布时间】：2019-02-21 08:29:02
【问题描述】：

我正在尝试将一些 python apache beam 脚本更新为最新的 2.9 版本的 apache beam。在谷歌云数据流运行器上运行导入from google.cloud.spanner import Client 的脚本时遇到以下错误（直接运行器工作正常）： https://gist.github.com/pascaldelange/f43cc1f6dc290291804b64b0db1cadfe

我有一个正确的 setup.py 在 2.9 之前工作正常特别是

REQUIRED_PACKAGES = [
    "Flask==0.12.2",
    "apache-beam[gcp]==2.9",
    "gunicorn==19.7.1",
    "gevent==1.2.1",
    "google-api-core==1.7.0",
    "google-apitools==0.5.24",
    "google-auth==1.6.2",
    "google-cloud-bigquery==1.6.1",
    "google-cloud-core==0.29.0",
    "google-cloud-pubsub==0.35.4",
    "google-cloud-spanner==1.7.1",
    "google-cloud-storage==1.13.1",
    "google-resumable-media==0.3.1",
    "googleapis-common-protos==1.5.5",
    "googledatastore==7.0.2",
    "grpc-google-iam-v1==0.11.4",
    "proto-google-cloud-datastore-v1==0.90.4",
    "six==1.11",
]

也许相关：在不同的工作（流媒体）中，我有错误日志

No unique name set for transform generatedPtransform-45

和

Missing required coder_id on grpc_port for -3; using deprecated fallback.

虽然它们似乎并没有真正阻止执行

什么可能导致这个错误，特别是只使用谷歌云数据流运行器？提前致谢

【问题讨论】：

标签： python apache-beam

【解决方案1】：

这个错误：

Missing required coder_id on grpc_port for -3; using deprecated fallback.

在梁 2.9 中引入，在 2.10 中仍然存在。

虽然the commit that added this error 记录了“错误”严重性，但它似乎并没有真正破坏任何东西。

这里是有关更多详细信息的梁 jira 问题：

https://jira.apache.org/jira/browse/BEAM-5415

【讨论】：