Scala代码不获取s3文件

Question

我正在尝试运行 EMR 烫伤作业，假设 Scala 代码获取位于 S3 存储桶中的文本文件的内容。 scala.io.source 库弄乱了 S3 路径的正确位置。

我将参数 runidfile 提供给 EMR 作业：

--runidfile s3://my-bucket/input.txt

scala 代码执行以下操作：

val runid_path = args("runidfile")
val runid = Source.fromFile(runid_path).getLines().mkString

代码不知何故不接受 S3 路径中的“//”，我收到错误：

原因：java.io.FileNotFoundException: s3:/my-bucket/input.txt（没有这样的文件或目录）
在 java.io.FileInputStream.open(本机方法)
在 java.io.FileInputStream.(FileInputStream.java:146)
在 scala.io.Source$.fromFile(Source.scala:90)
在 scala.io.Source$.fromFile(Source.scala:75)
在 scala.io.Source$.fromFile(Source.scala:53)
在 com.move.scalding.userEvents.RecommenderValidator.(RecommenderValidator.scala:37)

是否有任何解决方案或解决方法？我尝试使用Source.fromURL，但 S3 不是有效协议，因此它不接受它。

Answer 1

scala.io.Source 库并非旨在直接从 Amazon S3 访问文件。为此，您需要另一个库。

您可以使用官方Amazon S3 Java Library。这是一些示例代码（从this question and its answers一起复制）

val credentials = new BasicAWSCredentials("myKey", "mySecretKey")
val s3Client = new AmazonS3Client(credentials)
val s3Object = s3Client.getObject(new GetObjectRequest("my-bucket", "input.txt"))
val myData = Source.fromInputStream(s3Object.getObjectContent())

val runid = myData.getLines().mkString