如何使用直接运行器在 Eclipse 中调试 Dataflow/Apache Beam 管道 DoFn 函数

Question

我想在 Eclipse 中使用 direct runner 运行我的管道，并在我的 DoFn 函数和调试执行中放置一个断点。我尝试通过以下步骤设置直接跑步者：

1. 添加直接runner maven包
2. 在 pom.xml 中为直接运行程序设置 maven 配置文件。我的 pom.xml 有this profile

<profiles> <profile> <id>direct-runner</id> <activation> <activeByDefault>true</activeByDefault> </activation> <dependencies> <dependency> <groupId>org.apache.beam</groupId> <artifactId>beam-runners-direct-java</artifactId> <version>0.2.0-incubating</version> </dependency> </dependencies> </profile> </profiles>

1. 我的 pom.xml 中的插件管理下有 this maven 插件

<pluginManagement> <plugins> <plugin> <groupId>org.codehaus.mojo</groupId> <artifactId>exec-maven-plugin</artifactId> <version>1.4.0</version> <executions> <execution> <goals> <goal>java</goal> </goals> </execution> </executions> <configuration> <cleanupDaemonThreads>false</cleanupDaemonThreads> <mainClass>com.MyMainClass</mainClass> </configuration> </plugin> </plugins> </pluginManagement>

4. 下面是我的eclipse调试配置截图 当我使用上述调试配置运行时，作业在 GCP 数据流而不是本地 JVM 线程中启动，并且我的断点永远不会被命中。

Answer 1

可能是您在测试方法中创建管道的方式。尝试像这样使用 TestPipeline util 类创建管道

public TestPipeline p = TestPipeline.create();