如何访问 apache_beam.io.fileio.ReadableFile() 对象？

Question

我正在尝试使用 apache_beam.io.fileio 模块来读取文件 lines.txt 并将其合并到我的管道中。

lines.txt有以下内容：

line1
line2
line3

当我运行以下管道代码时：

with beam.Pipeline(options=pipeline_options) as p:

     lines = (
         p
         | beam.io.fileio.MatchFiles(file_pattern="lines.txt")
         | beam.io.fileio.ReadMatches()
     )
     # print file contents to screen
     lines | 'print to screen' >> beam.Map(print)

我得到以下输出：

<apache_beam.io.fileio.ReadableFile object at 0x000001A8C6C55F08>

我期待

line1
line2
line3

我怎样才能产生我的预期结果？

Answer 1

PCollection 来自

p
| beam.io.fileio.MatchFiles(file_pattern="lines.txt")
| beam.io.fileio.ReadMatches()

是一个ReadableFile 对象。为了访问这个对象，我们可以使用apache beam pydoc中记录的各种函数。

下面我们实现read_utf8()：

with beam.Pipeline(options=pipeline_options) as p:

    lines = (
        p
        | beam.io.fileio.MatchFiles(file_pattern="lines.txt")
        | beam.io.fileio.ReadMatches()
        | beam.Map(lambda file: file.read_utf8())
    )
    # print file contents to screen
    lines | 'print to screen' >> beam.Map(print)

我们得到了预期的结果：

line1
line2
line3