【发布时间】：2014-12-31 14:29:01
【问题描述】：
除了减少流中的转换数量（或可能减少流图中所有转换对象的总序列化大小）之外，关于如何解决此错误的任何建议？
谢谢，
【问题讨论】：
-
dataflowJobFile选项创建作业规范文件 ~ 2.3Mb
【发布时间】：2014-12-31 14:29:01
【问题描述】：
数据流目前在我们的系统中有一个限制，即请求上限为 1MB。作业的大小专门与管道的 JSON 表示相关联；更大的管道意味着更大的请求。
我们正在努力提高此限制。同时，您可以通过将您的工作分解为更小的工作来解决此限制，以便每个工作描述占用不到 1MB
要估计您的请求的大小，请使用选项运行您的管道
--dataflowJobFile = <path to output file>
这会将您的作业的 JSON 表示形式写入文件。该文件的大小可以很好地估计请求的大小。由于请求中包含附加信息，请求的实际大小会稍大。
感谢您的耐心等待。
一旦限制增加，我们将更新此线程。
【讨论】：
您是否将大量数据序列化为管道规范的一部分？例如，您是否使用 Create Transform 从内联数据创建 PCollection？
你可以分享json文件吗？如果您不想公开分享，可以私下通过电子邮件将其发送给 Dataflow 团队。
【讨论】：
-
感谢您的建议。我已通过电子邮件将生成的 json 文件发送给数据流团队。关于您的问题，a) 请参阅我对原始问题的评论，b) 否，但是序列化的数据类型有什么区别吗？
这已于 2018 年 11 月 16 日合并到 Beam 中。在将其包含到 Dataflow 之前应该不会太久。
【讨论】：