【问题标题】:Using Pandas in Python on datasets too large for excel在 Python 中使用 Pandas 处理对于 Excel 来说太大的数据集
【发布时间】:2020-12-03 08:09:10
【问题描述】:

我有一个关于在 python 中使用 pandas 分析大型 excel 表的快速应用问题。

对于数百万行的数据(超出 Excel 的限制),我们如何处理通过 pandas 分析它们?

我知道 excel 允许您从文本文件加载数据并让您的 excel 电子表格“创建一个连接”到源文件,而无需直接加载所有数百万行。如果我们在 python 中使用 pandas 调用这个 excel 电子表格,我们是否能够对源文件中的所有数百万行使用我们的过滤操作(以及我们学到的所有其他表数据分析操作)?还是仅在 excel 表上显示的内容上执行(假设我们选择了源文本文件的“创建连接”选项)?

有没有更有效的方式直接将 pandas 与 sas 文件一起使用?

【问题讨论】:

标签: python excel pandas sas


【解决方案1】:

我认为通过小块获取文件可以提高流程效率。请看这个link

【讨论】:

    猜你喜欢
    • 2016-08-08
    • 2012-08-05
    • 1970-01-01
    • 2019-08-04
    • 1970-01-01
    • 1970-01-01
    • 2016-05-28
    • 2019-06-08
    • 1970-01-01
    相关资源
    最近更新 更多