从 Dataflow 中的 http 端点摄取数据（python）

Question

您是否知道有任何方法可以从使用 Python 编码的 Dataflow 管道中的 HTTP 端点摄取数据？

我当前的解决方案是安排对该端点的调用，以检索 JSON 格式的数据，将文件保存在磁盘上并让管道接收它。

我现在想做的是 Dataflow 定期读取这个 HTTP 端点。

Answer 1

正如 Andrew 建议的那样，您可以尝试在转换中读取数据（par do）。然后可以对数据进行下游处理。