如何在 Amazon Glue 中使用自定义 Pyspark 读取 netCDF 数据？

Question

我正在创建一个数据管道来读取 S3 中的 NetCDF 数据，并计划将 Amazon Glue 用于 ETL 和自定义 PySpark。

我是否可以使用任何特定的 pyspark 库来支持对存储在 S3 中的数据进行 netCDF 操作。

参考数据集如下：

https://aws.amazon.com/blogs/publicsector/accessing-noaas-goes-r-series-satellite-weather-imagery-data-on-aws/?fbclid=IwAR3K_TS89Yolra5IKltINsI8NcPf8dk9FgF2X_iRBNVBIBQxqAZOXPi8jkY

Answer 1

没有对读取Glue 上的NetCDF 数据的固有支持，您可能必须使用纯spark implementation。