数据流的 Beam 模板不会上传到存储桶答案

【问题标题】：Beam template for dataflow will not upload to bucket数据流的 Beam 模板不会上传到存储桶
【发布时间】：2020-06-19 12:21:48
【问题描述】：

我已按照所有快速入门/文档来创建基于 Java 的数据流模板。我找到并完成的步骤是：

1) 创建项目：

mvn archetype:generate \
      -DarchetypeGroupId=org.apache.beam \
      -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
      -DarchetypeVersion=2.22.0 \
      -DgroupId=com.example \
      -DartifactId=JsonToBucket \
      -Dversion="0.1" \
      -Dpackage=com.example.dataflow \
      -DinteractiveMode=false

2) mvn clean && mvn 编译

这报告构建成功

3) 编译上传到bucket

mvn compile exec:java -Pdataflow-runner \                      
-Dexec.mainClass=com.example.dataflow.JsonToBucket -Dexec.cleanupDaemonThreads=false  \   
-Dexec.args="--runner=DataflowRunner \
--project=PROJECT \
--stagingLocation=gs://some-bucket/staging \
--templateLocation=gs://some-bucket/beam_templates/DisruptivePubSubToBucket"

这个的输出是：

[INFO] Scanning for projects...
[INFO] 
[INFO] ---------------------< com.example:jsonToBucket >----------------------
[INFO] Building jsonToBucket 0.1
[INFO] --------------------------------[ jar ]---------------------------------
[INFO] 
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ jsonToBucket ---
[WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] skip non existing resourceDirectory /somepath/jsonToBucket/src/main/resources
[INFO] 
[INFO] --- maven-compiler-plugin:3.7.0:compile (default-compile) @ jsonToBucket ---
[INFO] Changes detected - recompiling the module!
[WARNING] File encoding has not been set, using platform encoding UTF-8, i.e. build is platform dependent!
[INFO] Compiling 4 source files to /somepath/jsonToBucket/target/classes
[INFO] 
[INFO] --- exec-maven-plugin:1.6.0:java (default-cli) @ jsonToBucket ---
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  3.161 s
[INFO] Finished at: 2020-06-19T14:05:52+02:00
[INFO] ------------------------------------------------------------------------

没有文件上传到步骤 3 中设置的存储桶。

可能出了什么问题？

【问题讨论】：

我假设 JsonToBucket 是您定义管道的类。你能用这个类的代码更新问题吗？具体来说，我有兴趣了解它是如何实现管道选项的
嗨。问题是一个真正的小问题，run() 方法从未被触发。感谢您让我走上正确的道路。
我将您的评论作为答案包含在内，并将其标记为社区 wiki。随意进一步编辑它以添加更多关于问题的背景

标签： java maven google-cloud-dataflow apache-beam

【解决方案1】：

问题出在run() 方法上。取自@gixen 评论：

问题是一个真正的小问题，run() 方法从未被触发

【讨论】：