使用云数据融合创建从 SQL Server 到 BigQuery 的数据管道时出现问题答案

【问题标题】：Problem with creating a data pipeline from SQL Server to BigQuery using cloud data fusion使用云数据融合创建从 SQL Server 到 BigQuery 的数据管道时出现问题
【发布时间】：2020-04-28 05:48:09
【问题描述】：

我正在尝试使用 CLOUD DATA FUSION 创建从“SQL SERVER（来自 GCP VM）”到“BigQuery”的数据管道；我已经完成了以下所有设置配置，

在云数据融合中创建了新实例。
将此添加为 IAM 和管理中的服务帐户。
在 SQL Server 插件中安装了 JDBC 驱动程序
使用此 SQL Server 插件创建 wrangler 并从 SQL Server 读取数据（在此步骤中，我可以成功验证我的 SQL Server，并且可以在其中看到我的 SQL 表数据）
我通过将 Bigquery 添加为接收器完成了管道配置。

然后我尝试运行管道，结果几乎没有错误；我已经尝试了一些谷歌搜索，但我没有得到答案。

我能够在“GCS 到 BigQuery”之间创建一个数据融合管道，并且运行良好。但是这个“SQL server to big query”管道显示了一些错误。

有人可以帮我解决这个问题吗？

这是错误详情，

2020-01-10 13:00:47,528 - 警告 [Thread-95:o.a.h.m.LocalJobRunner@589] - job_local976595976_0001 java.lang.Exception：java.lang.NullPointerException 在 org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:491) ~[hadoop-mapreduce-client-common-2.9.2.jar:na] 在 org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:551) ~[hadoop-mapreduce-client-common-2.9.2.jar:na] java.lang.NullPointerException：空在 org.apache.hadoop.mapreduce.lib.db.DataDrivenDBInputFormat.createDBRecordReader(DataDrivenDBInputFormat.java:281) ~[hadoop-mapreduce-client-core-2.9.2.jar:na] 在 io.cdap.plugin.db.batch.source.DataDrivenETLDBInputFormat.createDBRecordReader(DataDrivenETLDBInputFormat.java:124) ~[1578661227434-0/:na] 在 org.apache.hadoop.mapreduce.lib.db.DBInputFormat.createRecordReader(DBInputFormat.java:245) ~[hadoop-mapreduce-client-core-2.9.2.jar:na] 在 io.cdap.cdap.etl.batch.preview.LimitingInputFormat.createRecordReader(LimitingInputFormat.java:51) ~[cdap-etl-core-6.1.0.jar:na] 在 io.cdap.cdap.internal.app.runtime.batch.dataset.input.MultiInputFormat.createRecordReader(MultiInputFormat.java:92) ~[na:na] 在 org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.(MapTask.java:521) ~[hadoop-mapreduce-client-core-2.9.2.jar:na] 在 org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764) ~[hadoop-mapreduce-client-core-2.9.2.jar:na] 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) ~[hadoop-mapreduce-client-core-2.9.2.jar:na] 在 org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:270) ~[hadoop-mapreduce-client-common-2.9.2.jar:na] 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[na:1.8.0_232] 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[na:1.8.0_232] 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[na:1.8.0_232] 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[na:1.8.0_232] 在 java.lang.Thread.run(Thread.java:748) ~[na:1.8.0_232] 2020-01-10 13:00:50,841 - 错误 [MapReduceRunner-phase-1:i.c.c.i.a.r.ProgramControllerServiceAdapter@97] - MapReduce 程序“阶段 1”失败。 java.lang.IllegalStateException：MapReduce JobId job_local976595976_0001 失败在 com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[com.google.guava.guava-13.0.1.jar:na] 在 io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run(MapReduceRuntimeService.java:416) ~[na:na] 在 com.google.common.util.concurrent.AbstractExecutionThreadService$1$1.run(AbstractExecutionThreadService.java:52) ~[com.google.guava.guava-13.0.1.jar:na] 在 io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService$2$1.run(MapReduceRuntimeService.java:450) [na:na] 在 java.lang.Thread.run(Thread.java:748) [na:1.8.0_232] 2020-01-10 13:00:50,842 - 错误 [MapReduceRunner-phase-1:i.c.c.i.a.r.ProgramControllerServiceAdapter@98] - MapReduce 程序“阶段 1”失败并出现错误：MapReduce JobId job_local976595976_0001 失败。请查看系统日志了解更多详情。 java.lang.IllegalStateException：MapReduce JobId job_local976595976_0001 失败在 com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[com.google.guava.guava-13.0.1.jar:na] 在 io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run(MapReduceRuntimeService.java:416) ~[na:na] 在 com.google.common.util.concurrent.AbstractExecutionThreadService$1$1.run(AbstractExecutionThreadService.java:52) ~[com.google.guava.guava-13.0.1.jar:na] 在 io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService$2$1.run(MapReduceRuntimeService.java:450) [na:na] 在 java.lang.Thread.run(Thread.java:748) [na:1.8.0_232] 2020-01-10 13:00:50,916 - 错误 [WorkflowDriver:i.c.c.d.SmartWorkflow@552] - 管道 '0f084034-33a9-11ea-95f6-8e2648ebe039' 失败。 2020-01-10 13:00:51,225 - 错误 [WorkflowDriver:icciarwWorkflowProgramController@89] - 工作流服务'workflow.default.0f084034-33a9-11ea-95f6-8e2648ebe039.DataPipelineWorkflow.20288f05-33a9-11ea-a505 -8e2648ebe039' 失败。 java.lang.IllegalStateException：MapReduce JobId job_local976595976_0001 失败在 com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[com.google.guava.guava-13.0.1.jar:na] 在 io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run(MapReduceRuntimeService.java:416) ~[na:na] 在 com.google.common.util.concurrent.AbstractExecutionThreadService$1$1.run(AbstractExecutionThreadService.java:52) ~[com.google.guava.guava-13.0.1.jar:na] 在 io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService$2$1.run(MapReduceRuntimeService.java:450) ~[na:na] 在 java.lang.Thread.run(Thread.java:748) [na:1.8.0_232]

【问题讨论】：

遇到同样的错误。我以前有这个工作，以及使用 SQL Multi-table 插件。我使用 Postgres 和 postgres jdbc 驱动程序也不同。如果您找到解决方案，请告诉我。
仍在寻找答案。我相信我们需要做一些配置设置，因为我在管道部分看不到任何问题。当然，如果我找到任何解决方案，我会告诉你。同时，如果你找到一种方法，请告诉我.....

标签： sql-server google-cloud-platform google-bigquery google-cloud-functions google-cloud-data-fusion

【解决方案1】：

更新： https://issues.cask.co/browse/CDAP-16453 这是一个已知问题，已在 6.1.2 中修复

“在 MySQL 5.x 上同样的错误奇怪的是，如果您部署管道并运行它，它就可以工作...... 我正在考虑将管道解耦以在输出流中有小 sql-to-storage 和大管道”

问候维吉里奥

【讨论】：

【解决方案2】：

根据报告的问题记录，您一直存在 java.lang.nullpointerexception 错误，这可能反映了在应用程序运行路径中所需的对象时使用了 null。

假设您已成功配置 JDBC driver，我建议您检查管道中的源数据库属性以确定未定义字段，据说可以是 导入查询 属性字段，用于通过提供SELECT 查询和适当的$CONDITIONS 来从指定表中导入数据，如果要生成的拆分数大于1：

SELECT * FROM <table> WHERE $CONDITIONS

【讨论】：

感谢您的回复。实际上我已经检查并更新了 SQL 查询；即使在那之后它也显示错误。这很奇怪。我是否错过了这里的任何其他过程？？
您找到解决方案了吗？我也面临同样的问题。
嗨 Balajee Venkatesh，不，仍然面临同样的问题。如果您找到任何解决方案，请告诉我。如果我找到答案，我也会更新这个帖子。
大家好，如果有人对此问题有答案，请告诉我。