Google 数据流 - 使用数据存储选项连接到数据存储会出现错误答案

【问题标题】：Google dataflow - Connecting to datastore using datastore options gives errorGoogle 数据流 - 使用数据存储选项连接到数据存储会出现错误
【发布时间】：2018-08-02 12:30:25
【问题描述】：

我们正在尝试通过用 java 编写的数据流作业连接到数据存储服务，但由于数据存储 SDK 错误，我们遇到了问题。

我们正在使用 eclipse 在本地机器上使用 directrunner 运行该作业。

代码：

import java.net.SocketTimeoutException;

import org.apache.beam.sdk.options.PipelineOptions;

import com.google.cloud.datastore.Datastore;
import com.google.cloud.datastore.DatastoreOptions;

public class StarterPipeline {

    public interface StarterPipelineOption extends PipelineOptions {

    }

    @SuppressWarnings("serial")
    public static void main(String[] args) throws SocketTimeoutException {

        Datastore datastore = DatastoreOptions.getDefaultInstance().getService();

    }
}

错误：

Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Illegal character in path at index 45: https://datastore.googleapis.com/v1/projects/<!DOCTYPE html>
at com.google.datastore.v1.client.DatastoreFactory.validateUrl(DatastoreFactory.java:122)
at com.google.datastore.v1.client.DatastoreFactory.buildProjectEndpoint(DatastoreFactory.java:108)
at com.google.datastore.v1.client.DatastoreFactory.newRemoteRpc(DatastoreFactory.java:115)
at com.google.datastore.v1.client.DatastoreFactory.create(DatastoreFactory.java:65)
at com.google.cloud.datastore.spi.v1.HttpDatastoreRpc.<init>(HttpDatastoreRpc.java:71)
at com.google.cloud.datastore.DatastoreOptions$DefaultDatastoreRpcFactory.create(DatastoreOptions.java:61)
at com.google.cloud.datastore.DatastoreOptions$DefaultDatastoreRpcFactory.create(DatastoreOptions.java:55)
at com.google.cloud.ServiceOptions.getRpc(ServiceOptions.java:512)
at com.google.cloud.datastore.DatastoreOptions.getDatastoreRpcV1(DatastoreOptions.java:179)
at com.google.cloud.datastore.DatastoreImpl.<init>(DatastoreImpl.java:56)
at com.google.cloud.datastore.DatastoreOptions$DefaultDatastoreFactory.create(DatastoreOptions.java:51)
at com.google.cloud.datastore.DatastoreOptions$DefaultDatastoreFactory.create(DatastoreOptions.java:45)
at com.google.cloud.ServiceOptions.getService(ServiceOptions.java:499)
at purplle.datapipeline.StarterPipeline.main(StarterPipeline.java:234)
Caused by: java.net.URISyntaxException: Illegal character in path at index 45: https://datastore.googleapis.com/v1/projects/<!DOCTYPE html>
at java.net.URI$Parser.fail(Unknown Source)
at java.net.URI$Parser.checkChars(Unknown Source)
at java.net.URI$Parser.parseHierarchical(Unknown Source)
at java.net.URI$Parser.parse(Unknown Source)
at java.net.URI.<init>(Unknown Source)
at com.google.datastore.v1.client.DatastoreFactory.validateUrl(DatastoreFactory.java:120)
... 13 more

我们使用的是以下版本的 SDK，我认为这些版本是最新的。

<!-- https://mvnrepository.com/artifact/com.google.cloud/google-cloud-storage -->
<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-storage</artifactId>
    <version>1.37.1</version>
</dependency>

<!-- https://mvnrepository.com/artifact/com.google.cloud/google-cloud-datastore -->
<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-datastore</artifactId>
    <version>1.37.1</version>
</dependency>

<dependency>
    <groupId>com.google.cloud.dataflow</groupId>
    <artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
    <version>2.5.0</version>
</dependency>

在通过 google 寻找解决方案时，我们在下面的线程中找到了该线程，该线程指出此问题已在 2 月修复，但我面临此问题。

https://github.com/GoogleCloudPlatform/google-cloud-java/issues/2440

【问题讨论】：

我包含了相同的依赖项，但没有遇到任何问题。您是否在项目中包含任何其他依赖项？

标签： google-cloud-datastore google-cloud-dataflow

【解决方案1】：

已联系谷歌云支持，他们说在开发时要在本地运行管道，我们必须通过环境变量手动提供项目 ID。

以下是谷歌支持的回复。

您收到的错误来自1，并在“未提供服务器或凭据”时引发。在您的情况下，您在构建客户端时没有指定凭据

Datastore 数据存储 = DatastoreOptions.getDefaultInstance().getService();

客户端库尝试通过环境变量 GOOGLE_APPLICATION_CREDENTIALS 查找凭据，但由于作业未在 Compute Engine、Kubernetes Engine、App Engine 或 Cloud Functions 上运行而失败。 3 和 4 - 在 Compute/App Engine 中运行]。我相信您的代码应该与 DataflowRunner 一起使用。请确认是否是这种情况。

要在本地运行代码，您可以手动创建和获取服务帐户凭据5，更详细的示例请查看4或6。

所以我在连接到数据存储 API 时下载了服务帐户凭据，并且它起作用了！

【讨论】：