【问题标题】:AWS Java - How do I load the ~/.aws/config file?AWS Java - 如何加载 ~/.aws/config 文件?
【发布时间】:2018-02-28 20:43:17
【问题描述】:

我已经阅读了一段时间的文档。我可以看到 JavaScript 和 Go SDK 的示例,这些示例展示了如何通过将 AWS_SDK_LOAD_CONFIG 环境变量设置为真值来加载配置文件。文档分别是herehere

但是,根据我的要求,我必须使用 Java。我在 Java SDK 中找不到等效的参考。这导致我假设三件事。

  1. Java 的 SDK 不使用此变量
    • 我很确定可能是这种情况,因为只是尝试它似乎并没有让它起作用。
    • 更新:检查Java SDKJava SDK V2 并使用ack -i "AWS_SDK_LOAD_CONFIG" 搜索表明两个项目都没有使用此变量。
  2. Java 的 SDK 使用不同的变量
    • 我认为这不太可能,因为它与其他两个 SDK 不一致。
  3. Java 的 SDK 要求您以编程方式执行此操作。
    • 似乎最有可能,但我找不到如何做到这一点。我一定是使用了错误的关键字或忽略了某些东西才能得到这种行为。

为清楚起见,我需要加载的配置文件是sbx,它存在于我的配置中,但在凭据文件中没有相邻值。这是我的 ~/.aws/config 文件:

[profile shared]
output = json
region = us-west-2
adfs_config.ssl_verification = True
adfs_config.role_arn = ....
adfs_config.adfs_host = ....
adfs_config.adfs_user = ....

[profile sbx]
role_arn = ... (this is different from the adfs_config.role_arn above)
source_profile = shared
region = us-west-2

和 ~/.aws/credentials 文件:(此文件会自动填充 aws-adfs 命令。

[shared]
aws_access_key_id = ....
aws_secret_access_key = ....
aws_session_token = ....
aws_security_token = ....

【问题讨论】:

  • “配置文件”。什么配置文件?
  • @CardinalSystem 我已经更新了标题。如果您点击我提供的链接,您会看到我指的是 ~/.aws/config 文件。
  • 你想在这里做什么?是简单地加载特定配置文件的凭据/区域信息,还是覆盖 ~/.aws/config 文件的位置?
  • @jarmod 感谢您指出这一点。是前者。我需要的配置文件在配置中,并指定了我需要承担的角色以及依赖于另一个配置文件。
  • [profile shared]不应该是[shared]吗?

标签: java amazon-web-services aws-java-sdk


【解决方案1】:

我想出了答案。这个问题的问题是默认情况下会加载凭据文件,但它并不总是包含配置文件中的所有可用信息。我们需要加载和展平。

AWS 已经提供了ProfileAssumeRoleCredentialsProvider,它允许我们从配置文件中担任角色。一旦我们提供了它需要的所有信息,它就可以毫无问题地承担角色(假设您的令牌是最新的)

/**
 * @author Paul Nelson Baker
 * @see <a href="https://github.com/paul-nelson-baker/">GitHub</a>
 * @see <a href="https://www.linkedin.com/in/paul-n-baker/">LinkedIn</a>
 * @since 2018-11
 */
public class CredentialsChain {

  public static final AWSCredentialsProviderChain CREDENTIALS_PROVIDER_CHAIN;

  static {
      AllProfiles allProfiles = flattenConfigurationFiles(
              DEFAULT_CONFIG_LOCATION_PROVIDER.getLocation(), // ~/.aws/config
              DEFAULT_CREDENTIALS_LOCATION_PROVIDER.getLocation() // ~/.aws/credentials
      );
      String currentProfileName = AwsProfileNameLoader.INSTANCE.loadProfileName();
      BasicProfile currentProfile = allProfiles.getProfile(currentProfileName);
      STSProfileCredentialsService profileCredentialsService = new STSProfileCredentialsService();
      // We stick our merged profile provider first, but we still want the default behavior to apply
      // so create a new chain with the default chain as the tail provider.
      CREDENTIALS_PROVIDER_CHAIN = new AWSCredentialsProviderChain(
              new ProfileAssumeRoleCredentialsProvider(profileCredentialsService, allProfiles, currentProfile),
              new DefaultAWSCredentialsProviderChain()
      );
  }

  private static AllProfiles flattenConfigurationFiles(File firstFile, File... additionalFiles) {
      // Utilize the AWS SDK to load the actual profile objects
      List<ProfilesConfigFile> allProfileConfigFiles = Stream.concat(Stream.of(firstFile), Arrays.stream(additionalFiles))
              .map(ProfilesConfigFile::new).collect(Collectors.toList());
      // Process each file one by one, look at their profiles, and place their values into a single map
      // Duplicate profiles will now have the single key/value pairs.
      Map<String, Map<String, String>> buildingMap = new LinkedHashMap<>();
      for (ProfilesConfigFile currentConfigFile : allProfileConfigFiles) {
          for (Entry<String, BasicProfile> currentProfile : currentConfigFile.getAllBasicProfiles().entrySet()) {
              // Some profiles are prefixed with "profile " so we want to cull it so we're actually merging the correct data
              String currentProfileName = currentProfile.getKey().replaceAll("^profile\\s+", "");
              if (!buildingMap.containsKey(currentProfileName)) {
                  buildingMap.put(currentProfileName, new LinkedHashMap<>());
              }
              Map<String, String> profileKeyValuePairs = buildingMap.get(currentProfileName);
              for (Entry<String, String> overridingEntry : currentProfile.getValue().getProperties().entrySet()) {
                  profileKeyValuePairs.put(overridingEntry.getKey(), overridingEntry.getValue());
              }
          }
      }
      // Take the results, and convert them to AWS SDK Types
      Map<String, BasicProfile> finalResult = new LinkedHashMap<>();
      for (Entry<String, Map<String, String>> currentFinalProfile : buildingMap.entrySet()) {
          String currentProfileName = currentFinalProfile.getKey();
          finalResult.put(currentProfileName, new BasicProfile(currentProfileName, currentFinalProfile.getValue()));
      }
      return new AllProfiles(finalResult);
  }

  private CredentialsChain() {
  }
}

【讨论】:

  • 另一个使用ProfileAssumeRoleCredentialsProvier here 的例子(从this 链接找到)
【解决方案2】:

【讨论】:

  • 这似乎是一个合乎逻辑的假设,但是当我刚刚尝试时它并没有产生任何变化。相对路径和完整路径似乎都不会真正触发它的使用。事实上,当我为AWS_CONFIG_FILEAWS_CONFIG_FILE_ENV_VAR 做更多的确认时,我找不到它实际使用的地方
  • 谢谢,这是很好的信息。我不需要告诉它它在哪里,只要告诉它开始使用它。就像我提到的那样,我尝试将它指向具有完整路径和相对路径的文件。
【解决方案3】:

如果您需要在配置文件中指定特定配置文件,则需要使用ProfileCredentialsProvider

(我没有在 IDE 中输入此代码,因此可能存在拼写错误;请随时编辑):

ProfileCredentialsProvider creds = new ProfileCredentialsProvider("myProfile");
AmazonS3 s3Client = new AmazonS3ClientBuilder()
                    .withCredentials(creds)
                    .build()

这将(我相信)使用默认文件位置~/.aws/credentials。还有一个构造函数可以让你传递文件的路径。

如果您可以摆脱默认配置文件,您可以只使用所有构建器都公开的静态defaultClient() 函数。这样做的好处是您可以使用显式环境变量覆盖凭据,或从实例配置文件中检索。

【讨论】:

  • 不幸的是,这不会加载配置文件,而是从凭据文件中读取。它找不到sbx 条目并以java.lang.IllegalArgumentException: No AWS profile named 'sbx' 死亡。
  • (如果你错过了,我更新了我的问题以显示我的配置/凭据文件。我想我提交更新的时间与你的问题差不多,所以你可能没有必要的重要细节)
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2016-05-18
  • 2021-12-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-03-26
相关资源
最近更新 更多