性能：Google Dataflow 将 avro 文件写入 GCS

Question

我正在研究 Google Dataflow，它从 pubsub 中提取数据，转换为 avro，然后将它们写入 GCS。 根据监控页面，瓶颈是将 avro 文件写入 GCS（花费总执行时间的 70-80%）。

我用

• n1-standard-8 的 10 名工人
• 10 numShards
• 5 秒固定窗口
• GCS 和 Dataflow 端点的区域相同。

那么性能大约是每秒 200,000 个元素。 在这种情况下它是否很快，或者我能做些什么来让它更快？ （我真的很想！）

谢谢

Answer 1

您是否考虑过以specific convention 命名您的文件以优化读写访问？

为了保持较高的请求率，请避免使用顺序名称。使用完全随机的对象名称将为您提供最佳的负载分布。如果您想使用序列号或时间戳作为对象名称的一部分，请通过在序列号或时间戳之前添加一个哈希值来为对象名称引入随机性。

基本上，您需要遵循与在 BigTable 中选择 RowKey 相同的规则。