【发布时间】：2021-11-22 21:10:44
【问题描述】：
是否可以在不使用爬虫的情况下使用 DynamicFrameReader from_options 在 AWS Glue 中读取固定长度的文件？ 我使用 spark 找到了以下解决方案，但是有没有办法直接在 Glue 中执行此操作？ pyspark parse fixed width text file
【问题讨论】：
-
我相信你应该可以。你有什么问题吗？
【发布时间】：2021-11-22 21:10:44
【问题描述】：
我使用 AWS 文档找到了解决方案。我们可以使用 format="grokLog"。
例如：- 对于具有以下结构的文件
abcdef1234
ghijkl4567
列结构的长度为3、3、4。那么我们可以使用下面的代码逻辑。
from_options(connection_type='s3', connection_options={"paths": ["s3://mybucket/object_a"]}, format="grokLog", format_options={"logFormat":"(?<c1>.{3})(?<c2>.{3})(?<c3:int>.{4})"})
【讨论】：