如何将大数据集读取到 Pandas 数据框？

Question

我已经有几个文件 (11) 作为 Azure ML Studio 中的数据集 (mltable)。加载到 df 的作品适用于除一种以外的所有情况。我相信原因是大小 - 1.95 GB。我想知道如何将此数据集加载到数据框中？到目前为止，我根本没有设法加载它。

任何提示如何有效地做到这一点？我试图找出一种与 modin 并行执行的方法，但失败了。您将在下面找到加载脚本。

subscription_id = 'xyz'
resource_group = 'rg-personal'
workspace_name = 'test'

workspace = Workspace(subscription_id, resource_group, workspace_name)

dataset = Dataset.get_by_name(workspace, name='buses')
dataset.to_pandas_dataframe()

Answer 1

我找到了另一个解决方案，比@DeepDave 发布的更容易

我没有从资产加载数据，而是直接从带有 URL 的 blob 加载它们，使用 modin 库而不是 Pandas。像魅力一样工作

代码如下：

import modin.pandas as pd

url ='URLLINKHERE'
df_bus = pd.read_csv(url, encoding='utf16')
df_bus.head()

希望这对其他人有所帮助。