【问题标题】:AWS Jupyter Notebook EC2 Instance: Getting error while reading pandas csv from S3AWS Jupyter Notebook EC2 实例:从 S3 读取 pandas csv 时出错
【发布时间】:2017-07-28 07:07:48
【问题描述】:

从 S3 读取 CSV 时,内核正在重新启动,并弹出以下窗口:

Kernel Restarting
The kernel appears to have died. It will restart automatically

下面是sn-p的代码:

import boto3
import pandas as pd
from boto.s3.connection import S3Connection

YOUR_ACCESS_KEY='******'
YOUR_SECRET_KEY='******'
YOUR_BUCKET='******'

client = boto3.client('s3',aws_access_key_id=YOUR_ACCESS_KEY, aws_secret_access_key=YOUR_SECRET_KEY)
client.download_file(YOUR_BUCKET, 'test.csv','test.csv')

从下面一行抛出错误:

test_df = pd.read_csv('test.csv')

但我可以访问其他文件,例如示例文本文件:

client.download_file(YOUR_BUCKET, 'sample.txt','sample.txt')
print(open('sample.txt').read())

我认为这个错误是由于 CSV 文件过大,但读取 5MB 的 CSV 文件会出现同样的错误。

【问题讨论】:

  • 您提到的错误与 ipython 笔记本有关..您可以发布您在提到的行中遇到的错误吗? read_csv 函数也接受确切的文件路径,请检查下载的文件路径和 read_csv 中的文件路径。
  • 我已经编辑了我的问题,是的,Pandas read_csv 需要文件的确切路径,但我假设在下载文件后,就像我在示例代码中所做的那样,文件会像我一样加载到内存中sample.txt 我使用 open 命令成功打开它,我在上面的代码中再次提到它。
  • @Bharathshetty 感谢您注意到错字,我现在已经更正了,但问题仍然存在。

标签: python pandas amazon-web-services amazon-s3 jupyter-notebook


【解决方案1】:

这似乎是 pyTorch 的错误。

https://github.com/jupyter/notebook/issues/2784

那里讨论了替代方案和多种解决方案,票仍然开放。

希望对你有帮助。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-09-07
    • 1970-01-01
    • 1970-01-01
    • 2018-05-13
    • 1970-01-01
    相关资源
    最近更新 更多