【问题标题】:Sample datasets in PandasPandas 中的示例数据集
【发布时间】:2015-04-09 15:16:42
【问题描述】:

使用 R 时,可以方便地使用

加载“练习”数据集
data(iris)

data(mtcars)

熊猫有类似的东西吗?我知道我可以使用任何其他方法加载,只是好奇是否有内置的东西。

【问题讨论】:

标签: python pandas dataset sample-data


【解决方案1】:

rpy2 模块就是为此而生的:

from rpy2.robjects import r, pandas2ri
pandas2ri.activate()

r['iris'].head()

产量

   Sepal.Length  Sepal.Width  Petal.Length  Petal.Width Species
1           5.1          3.5           1.4          0.2  setosa
2           4.9          3.0           1.4          0.2  setosa
3           4.7          3.2           1.3          0.2  setosa
4           4.6          3.1           1.5          0.2  setosa
5           5.0          3.6           1.4          0.2  setosa

在 pandas 0.19 之前你可以使用 pandas 自己的rpy 接口:

import pandas.rpy.common as rcom
iris = rcom.load_data('iris')
print(iris.head())

产量

   Sepal.Length  Sepal.Width  Petal.Length  Petal.Width Species
1           5.1          3.5           1.4          0.2  setosa
2           4.9          3.0           1.4          0.2  setosa
3           4.7          3.2           1.3          0.2  setosa
4           4.6          3.1           1.5          0.2  setosa
5           5.0          3.6           1.4          0.2  setosa

rpy2还提供了一种方式to convert R objects into Python objects

import pandas as pd
import rpy2.robjects as ro
import rpy2.robjects.conversion as conversion
from rpy2.robjects import pandas2ri
pandas2ri.activate()

R = ro.r

df = conversion.ri2py(R['mtcars'])
print(df.head())

产量

    mpg  cyl  disp   hp  drat     wt   qsec  vs  am  gear  carb
0  21.0    6   160  110  3.90  2.620  16.46   0   1     4     4
1  21.0    6   160  110  3.90  2.875  17.02   0   1     4     4
2  22.8    4   108   93  3.85  2.320  18.61   1   1     4     1
3  21.4    6   258  110  3.08  3.215  19.44   1   0     3     1
4  18.7    8   360  175  3.15  3.440  17.02   0   0     3     2

【讨论】:

  • 感谢您的建议。我正在这样做,但它违反了数据在 R 中可用的“易用性”。这是一个可以完成它的解决方案!
  • 嗯? rcom.load_data('iris') 有什么难的?
  • 可能没什么,我意识到我可能太挑剔了。感谢您的回答!
  • 请注意,pandas.rpyremoved in 0.20。要与 R 接口,rpy2 是推荐的选项。
【解决方案2】:

任何公开可用的 .csv 文件都可以使用其 URL 极快地加载到 pandas 中。这是一个使用最初来自 UCI 存档的 iris 数据集的示例。

import pandas as pd

file_name = "https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv"
df = pd.read_csv(file_name)
df.head()

此处的输出是您刚刚从给定 URL 加载的 .csv 文件头。

>>> df.head()
   sepal_length  sepal_width  petal_length  petal_width species
0           5.1          3.5           1.4          0.2  setosa
1           4.9          3.0           1.4          0.2  setosa
2           4.7          3.2           1.3          0.2  setosa
3           4.6          3.1           1.5          0.2  setosa
4           5.0          3.6           1.4          0.2  setosa

一个令人难忘的短网址是https://j​.mp/iriscsv。此短 URL 仅在输入时有效,在复制粘贴时无效。

【讨论】:

【解决方案3】:

自从我最初编写此答案以来,我已经使用现在可用于访问 Python 中的示例数据集的多种方法对其进行了更新。就个人而言,我倾向于坚持使用我的任何包裹 已经在使用(通常是 seaborn 或 pandas)。如果您需要离线访问, 使用 Quilt 安装数据集似乎是唯一的选择。

Seaborn

出色的绘图包seaborn 有几个内置的样本数据集。

import seaborn as sns

iris = sns.load_dataset('iris')
iris.head()
   sepal_length  sepal_width  petal_length  petal_width species
0           5.1          3.5           1.4          0.2  setosa
1           4.9          3.0           1.4          0.2  setosa
2           4.7          3.2           1.3          0.2  setosa
3           4.6          3.1           1.5          0.2  setosa
4           5.0          3.6           1.4          0.2  setosa

熊猫

如果您不想导入seaborn,但仍想访问its sample data sets,您可以使用@andrewwowens 的seaborn 示例的方法 数据:

iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')

请注意,包含分类列的样本数据集有其column type modified by sns.load_dataset(),结果可能不一样 通过直接从 url 获取它。 iris 和tips 样本数据集也是 可在 pandas github repo here 中获得。

R 样本数据集

由于可以通过pd.read_csv() 读取任何数据集,因此可以访问所有 通过从this R data set repository 复制 URL 来获得 R 的示例数据集。

加载 R 样本数据集的其他方法包括 statsmodel

import statsmodels.api as sm

iris = sm.datasets.get_rdataset('iris').data

PyDataset

from pydataset import data

iris = data('iris')

scikit-学习

scikit-learn 将样本数据返回为 numpy 数组而不是 pandas 数据 框架。

from sklearn.datasets import load_iris

iris = load_iris()
# `iris.data` holds the numerical values
# `iris.feature_names` holds the numerical column names
# `iris.target` holds the categorical (species) values (as ints)
# `iris.target_names` holds the unique categorical names

被子

Quilt 是为方便而创建的数据集管理器 数据集管理。它包括许多常见的样本数据集,例如 several 来自 uciml sample repositoryquick start page 显示如何安装 并导入 iris 数据集:

# In your terminal
$ pip install quilt
$ quilt install uciml/iris

安装数据集后,可以在本地访问它,因此如果您想离线处理数据,这是最佳选择。

import quilt.data.uciml.iris as ir

iris = ir.tables.iris()
   sepal_length  sepal_width  petal_length  petal_width        class
0           5.1          3.5           1.4          0.2  Iris-setosa
1           4.9          3.0           1.4          0.2  Iris-setosa
2           4.7          3.2           1.3          0.2  Iris-setosa
3           4.6          3.1           1.5          0.2  Iris-setosa
4           5.0          3.6           1.4          0.2  Iris-setosa

Quilt 还支持数据集版本控制,并包含每个数据集的 short description

【讨论】:

  • 不应该答案是否定的,没有可以用 pandas 加载的方便的“练习”数据集。
【解决方案4】:

内置的pandas测试DataFrame非常方便。

makeMixedDataFrame():

In [22]: import pandas as pd

In [23]: pd.util.testing.makeMixedDataFrame()
Out[23]:
     A    B     C          D
0  0.0  0.0  foo1 2009-01-01
1  1.0  1.0  foo2 2009-01-02
2  2.0  0.0  foo3 2009-01-05
3  3.0  1.0  foo4 2009-01-06
4  4.0  0.0  foo5 2009-01-07

其他测试DataFrame选项:

makeDataFrame():

In [24]: pd.util.testing.makeDataFrame().head()
Out[24]:
                   A         B         C         D
acKoIvMLwE  0.121895 -0.781388  0.416125 -0.105779
jc6UQeOO1K -0.542400  2.210908 -0.536521 -1.316355
GlzjJESv7a  0.921131 -0.927859  0.995377  0.005149
CMhwowHXdW  1.724349  0.604531 -1.453514 -0.289416
ATr2ww0ctj  0.156038  0.597015  0.977537 -1.498532

makeMissingDataframe():

In [27]: pd.util.testing.makeMissingDataframe().head()
Out[27]:
                   A         B         C         D
qyXLpmp1Zg -1.034246  1.050093       NaN       NaN
v7eFDnbQko  0.581576  1.334046 -0.576104 -0.579940
fGiibeTEjx -1.166468 -1.146750 -0.711950 -0.205822
Q8ETSRa6uY  0.461845 -2.112087  0.167380 -0.466719
7XBSChaOyL -1.159962 -1.079996  1.585406 -1.411159

makeTimeDataFrame():

In [28]: pd.util.testing.makeTimeDataFrame().head()
Out[28]:
                   A         B         C         D
2000-01-03 -0.641226  0.912964  0.308781  0.551329
2000-01-04  0.364452 -0.722959  0.322865  0.426233
2000-01-05  1.042171  0.005285  0.156562  0.978620
2000-01-06  0.749606 -0.128987 -0.312927  0.481170
2000-01-07  0.945844 -0.854273  0.935350  1.165401

【讨论】:

  • 您的回答被低估了——尽管这可能不是问题所要求的,但我真正想要的是一种交互式方式来获取数据框。谢谢!
猜你喜欢
  • 2013-11-03
  • 2017-10-10
  • 1970-01-01
  • 1970-01-01
  • 2022-10-16
  • 2013-05-10
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多