为什么该函数在本地工作但在 Dataflow 中不起作用？

Question

我正在尝试使用数据流向 Google Analytics（分析）发布请求。第一步是从 Big-query 中读取适当的参数 - 它工作正常。接下来是在 HTTP 发布请求中使用它们。在本地通过提供显式参数它可以工作，但在数据流中它在此步骤中什么也不做。

这是我的代码（SendRequests 类），其中 el - BQ 中的每个数据行。

class SendRequests(beam.DoFn):
    def __init__(self):
        super(SendRequests, self).__init__()
    def process(self, el):
        conn = httplib.HTTPConnection("www.google-analytics.com")
        params = urllib.urlencode(el)
        conn.request("POST", "/collect", params)
        yield 1

locally:
conn = http.client.HTTPConnection("www.google-analytics.com")
conn.request("POST", "/collect", params)

Answer 1

这可能不是“什么都不做”...检查日志文件。

此外，Dataflow 作业可能仅使用私有 IP 地址运行。如果不是这种情况，除非数据流作业和函数在同一个 VPC 中，否则将无法访问该函数。

我认为您不必启用 Google 私人访问权限，但请阅读此内容，看看是否有帮助...https://cloud.google.com/vpc/docs/private-access-options

加雷斯