【发布时间】:2015-02-17 03:20:09
【问题描述】:
就如何最好地架构/设计和构建我们的管道寻求一些建议。
经过一些初步测试,我们没有得到预期的结果。也许我们只是在做一些愚蠢的事情,或者我们的期望太高了。
我们的数据/工作流程:
- Google DFP 将我们的广告服务器日志(CSV 压缩)直接写入 GCS(每小时一次)。
- 这些日志一天的价值在 30-7000 万条记录范围内,当月约有 1.5-20 亿条记录。
- 对其中 2 个字段执行转换,并将行写入 BigQuery。
- 转换涉及对其中 2 个字段执行 3 次 REGEX 操作(由于操作增加到 50 次),从而生成新的字段/列。
到目前为止我们的运行情况:
- 构建一个管道,从 GCS 读取文件一天 (31.3m),并使用 ParDo 执行转换(我们认为我们会从一天开始,但我们的要求也是处理数月和数年)。
- DoFn 输入是字符串,其输出是 BigQuery TableRow。
- 管道在云中执行,实例类型为“n1-standard-1”(1vCPU),因为我们认为每个工作人员 1 个 vCPU 就足够了,因为转换不是过于复杂,也不是 CPU 密集型,即只是一个映射字符串转字符串。
我们使用几种不同的工作器配置运行了该作业,以查看它的性能:
- 5 个工作人员(5 个 vCPU)耗时 ~17 分钟
- 5 个工作人员(10 个 vCPU)花费了 ~16 分钟(在这次运行中,我们将实例提升到“n1-standard-2”以获得双倍内核,看看它是否提高了性能)
- 自动缩放设置为“BASIC”(50-100 个 vCPU)的 50 分钟和 100 个最大工作人员花费了 ~13 分钟
- 自动缩放设置为“BASIC”(100-150 个 vCPU)的 100 分钟和 150 个最大工作器耗时 ~14 分钟
这些时间是否符合您对我们的用例和管道的期望?
【问题讨论】:
标签: google-bigquery google-cloud-storage google-cloud-dataflow