Kedro SunPy - 将自定义数据集写入 S3答案

【问题标题】：Getting Kedro Custom Dataset for SunPy Maps to write to/from S3Kedro SunPy - 将自定义数据集写入 S3
【发布时间】：2022-08-24 17:39:21
【问题描述】：

我目前正在尝试定义一个自定义数据集，以将.fits 文件读入/从 S3 以SunPy Maps 写入/从 S3 写入。

数据目录中与此最接近的是pillow.ImageDataSetpillow.ImageDataSet，它支持在加载时传递文件对象： https://pillow.readthedocs.io/en/stable/reference/Image.html。

我不确定 Maps 的输入是否足够灵活以证明类似方法的合理性。到目前为止，我尝试修改 pillow.ImageDataSet _load 方法以包含

smap = Map(fs_file)
return smap

导致以下错误：

DataSetError: Failed while loading data from data set SunPyMapDataSet(filepath=sunspots/data/01_raw/map_sample.fits, protocol=s3, save_args={\'overwrite\': True}).
Invalid input: <File-like object S3FileSystem, sunspots/data/01_raw/map_sample.fits>

我怎样才能让事情在这里工作？

标签： python amazon-web-services amazon-s3 kedro

【解决方案1】：

我不熟悉这个 SunPy 库。到目前为止，我认为您的方法是正确的。

fs_file 是一个处理程序，您需要正确的方法来打开此文件。我认为您收到此错误可能是因为Map(fs_file) 不是加载文件的正确方法。

您可能应该寻找从文件中加载 Map 对象的函数。

【讨论】：