Cloud AI Platform Training 无法读取存储桶

Question

我正在尝试使用 Cloud AI Platform 进行培训（gcloud ai-platform jobs 提交培训）。 我创建了我的存储桶，并确定训练文件在那里 (gsutil ls gs://sat3_0_bucket/data/train_input.csv)。

但是，我的工作因日志消息而失败：

File "/root/.local/lib/python3.7/site-packages/ktrain/text/data.py", line 175, in texts_from_csv
    with open(train_filepath, 'rb') as f:
FileNotFoundError: [Errno 2] No such file or directory: 'gs://sat3_0_bucket/data/train_input.csv'

我错过了什么吗？

Answer 1

该错误可能是因为 ktrain 尝试使用 open(train_filepath, 'rb') 自动检测字符编码，这可能与 Google Cloud Storage 存在问题。一种解决方案是显式提供encoding 到texts_from_csv 作为参数，这样就可以跳过这一步（默认为None，表示自动检测）。

或者，您可以使用these methods 之一将自己的数据作为pandas DataFrame 读取。例如，pandas 显然支持 GCS，所以你可以简单地这样做：df = pd.read_csv('gs://bucket/your_path.csv')

然后，使用ktrain，您可以使用ktrain.text.texts_from_df（或ktrain.text.texts_from_array）来加载和预处理您的数据。