用于加载各种机器学习数据集的 Python API？答案

【问题标题】：Python API to load various machine-learning datasets?用于加载各种机器学习数据集的 Python API？
【发布时间】：2018-07-09 10:35:30
【问题描述】：

有没有人有 Python API 来获取各种 ML 数据集？

X, Y, info = mldata.load( name, db=, verbose= )
X: N x dim data, a NumPy array
Y: N, ints for class numbers or None
info: a dict with ...

我更喜欢带有 NumPy 的直接 python，但如果 Rpy 函数只能获取数据，那可能没问题（对不起，不要说太多R）。

对于“db”，一个平面文件就可以了，比如

#! http://archive.ics.uci.edu/ml/machine-learning-databases
# ncol  nrow  nclass  year  name               etc.
  3  2858  2  2008   "Character+Trajectories"  Time-Series     Classification, Clus
  4   150  2  1988   "Iris"    Multivariate    Classification  Real
  8   768  2  1990   "Pima+Indians+Diabetes"   Multivariate    Classification  Inte
...

为什么只使用平面文件而不是“真实”数据库？因为我可以下载它们一次，然后浏览、排序、awk 它们几乎为零；其他人可能更喜欢花哨的搜索引擎。

数据是存储在本地还是通过网络加载对我来说是无关紧要的。（两者都做，env MLDATAPATH = (local dir ... url ...)）？

（对于具有统一名称和统一数据的站点来说，一个基本的 API 应该是微不足道的，但统一例如uci/ml 看起来很枯燥。）

【问题讨论】：

标签： python api machine-learning

【解决方案1】：

来自 Scikits.learn 的人们在 Scikits.learn examples 中解决了这个问题

不过，数据集有各种形状和大小，因此它们确实有用于处理每个数据集的自定义代码。（如果您只有 CSV 或 ARFF 格式的数据集，而没有灰度图像等，情况会有所不同。

【讨论】：

这是正确的方向，但是 scikits.learn-0.8/scikits/learn/datasets 有 6 个 csvs / 3 个带有 descr 的 csvs，twenty_newsgroups.py 就是这样；我正在寻找一个通用的 API——对于非统一的网站来说，这无疑是困难的。
这里有一个用于 mldata 的通用加载器正在审查中：github.com/scikit-learn/scikit-learn/pull/186 和另一个关于高度优化加载以 libsvm / svmlight 格式分布的大规模稀疏数据集的审查：github.com/scikit-learn/scikit-learn/pull/209 在 scikit-learn 中，数据通常以 np.array 或 scipy.sparse （通常的 CSR）形式加载，形状为（n_samples，n_features）。目标信号一般是 np.array，形状为 (n_samples,)。
感谢 Olivier，这看起来很有希望。每个数据集是否有一行数据库或摘要？在 mldata.org 上看不到一个副手。

【解决方案2】：

您可以查看此包/代码库以搜索和导入任何 UCI ML 存储库数据集。它不会在 Python 对象中加载数据集，而只是从门户自动搜索并下载您选择的数据集。您甚至可以选择特定大小和 ML 任务类别的所有数据集。

https://github.com/tirthajyoti/UCI-ML-API

【讨论】：