【问题标题】:Cloud DataFlow performance - are our times to be expected?Cloud DataFlow 性能 - 我们的时代是否值得期待?
【发布时间】:2015-02-17 03:20:09
【问题描述】:

就如何最好地架构/设计和构建我们的管道寻求一些建议。

经过一些初步测试,我们没有得到预期的结果。也许我们只是在做一些愚蠢的事情,或者我们的期望太高了。

我们的数据/工作流程:

  • Google DFP 将我们的广告服务器日志(CSV 压缩)直接写入 GCS(每小时一次)。
  • 这些日志一天的价值在 30-7000 万条记录范围内,当月约有 1.5-20 亿条记录。
  • 对其中 2 个字段执行转换,并将行写入 BigQuery。
  • 转换涉及对其中 2 个字段执行 3 次 REGEX 操作(由于操作增加到 50 次),从而生成新的字段/列。

到目前为止我们的运行情况:

  • 构建一个管道,从 GCS 读取文件一天 (31.3m),并使用 ParDo 执行转换(我们认为我们会从一天开始,但我们的要求也是处理数月和数年)。
  • DoFn 输入是字符串,其输出是 BigQuery TableRow。
  • 管道在云中执行,实例类型为“n1-standard-1”(1vCPU),因为我们认为每个工作人员 1 个 vCPU 就足够了,因为转换不是过于复杂,也不是 CPU 密集型,即只是一个映射字符串转字符串。

我们使用几种不同的工作器配置运行了该作业,以查看它的性能:

  1. 5 个工作人员(5 个 vCPU)耗时 ~17 分钟
  2. 5 个工作人员(10 个 vCPU)花费了 ~16 分钟(在这次运行中,我们将实例提升到“n1-standard-2”以获得双倍内核,看看它是否提高了性能)
  3. 自动缩放设置为“BASIC”(50-100 个 vCPU)的 50 分钟和 100 个最大工作人员花费了 ~13 分钟
  4. 自动缩放设置为“BASIC”(100-150 个 vCPU)的 100 分钟和 150 个最大工作器耗时 ~14 分钟

这些时间是否符合您对我们的用例和管道的期望?

【问题讨论】:

    标签: google-bigquery google-cloud-storage google-cloud-dataflow


    【解决方案1】:

    您还可以将输出写入文件,然后使用命令行/控制台将其加载到 BigQuery。您可能会节省一些美元的实例正常运行时间。这是我在遇到 Dataflow/BigQuery 接口问题后一直在做的事情。此外,根据我的经验,启动实例并将其拆除会产生一些开销(可能需要 3-5 分钟)。您是否也将这段时间包含在您的测量中?

    【讨论】:

    • 这不是一个坏主意。那么,从 GCS 读取,写回 GCS 并正常加载到 BQ 中,对吗?您知道在写回 GCS 时是否可以指定压缩?
    • 我在SDK中没有看到这个选项,但是如果你在作业完成并上传数据后快速删除数据,那不会是一个巨大的成本。
    • 我们也遇到过类似的问题。我们继续增加 CPU 以测试性能,预计处理数据的时间会下降。但令我惊讶的是,它增加了。似乎提出实例并拆除它们使总时间更高
    【解决方案2】:

    BigQuery 的写入限制为每张表每秒 100,000 行或每分钟 6M。在 3100 万行的输入中,这将需要大约 5 分钟的完全写入时间。当您添加回每个元素的离散处理时间以及图表的同步时间(从 GCS->dispatch->... 读取)时,这看起来是正确的。

    我们正在开发一种表分片模型,这样您就可以跨一组表进行写入,然后在 BigQuery 中使用表通配符对这些表进行聚合(典型 BigQuery 流式传输用例的通用模型)。我知道 BigQuery 人员也在考虑增加表流限制,但没有任何官方可以分享。

    Net-net 增加的实例现在不会为您带来更多的吞吐量。

    另一种方法 - 同时在我们致力于改进 BigQuery 同步的同时 - 将通过 TextIO 使用模式匹配对您的读取进行分片,然后针对 X 个表运行 X 个单独的管道。可能是一个有趣的实验。 :-)

    有意义吗?

    【讨论】:

    • 谢谢埃里克。是的,有道理。我们知道 BQ 的流式传输限制(因为我们将它用于另一个项目),但认为它不适用于 CDF 和运行管道。但事后看来,这只是愚蠢的想法!这也可以解释我们在测试管道时在控制台中看到的项目错误数量。它们是否可能是 BQ 因达到流配额而返回的错误?
    • 我设法扯些作业ID为您提供:2015-02-16_17_11_02-9865267759506977505,2015-02-16_16_52_46-10781711239028822211,2015-02-16_19_35_10-18379925632423944987 SPAN>
    猜你喜欢
    • 2020-01-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-06-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多