未写入 Data Pipeline S3 日志（仅在使用 Amazon Linux 时写入）

Question

使用完全相同的 Data Pipeline 配置，只是要使用的 AMI 不同（Amazon Linux 与 Ubuntu），我的 Data Pipeline 执行在这两种情况下都会成功但它只会将日志写入使用 Amazon Linux 时的 S3。

使用 Amazon Linux

使用 Ubuntu

在这两种情况下，我都使用同一个用户（ec2-user，而不是 ubuntu）登录，为此我为 Ubuntu AMI 正确配置了该用户名：

#cloud-config
system_info:
  default_user:
    name: ec2-user

此外，我在启动 Amazon Linux 或 Ubuntu 管道时使用完全相同的 resourceRole 和 role 属性。所以这不是问题。

显然，Amazon Linux 需要一些东西来编写 S3 日志，它会是什么？

Answer 1

这是因为 TaskRunner 使用一个名为 Joda 的 Java 库来为日志记录生成时间戳。 JRE 的某些版本附带有错误版本的 Joda jar，因此任何使用该版本的 AMI（根据我目前的经验，任何高于 6 的版本）都无法正确写入日志。

我建议在 ShellCommandActivity 中的所有脚本之前添加 alternatives --set java /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java 之类的内容——这解决了我的问题。

或者，您可以始终使用已知具有 Java 6 的 AMI 实例 ID。