亚马逊 EC2 与 PiCloud [关闭]答案

【问题标题】：Amazon EC2 vs PiCloud [closed]亚马逊 EC2 与 PiCloud [关闭]
【发布时间】：2023-04-06 15:01:01
【问题描述】：

我们是学生，试图处理大约 1.4 亿条记录的数据，并尝试运行一些机器学习算法。我们是整个云解决方案和 mahout 实现的新手。目前我们已经在 postgresql 数据库中设置了它们，但是当前的实现没有扩展，并且经过多次性能调整后读/写操作似乎非常慢。因此我们计划选择基于云的服务。

我们已经探索了一些可能的替代方案。

基于亚马逊云的服务（Mahout 实现）
Picloud 与 scikits 学习（我们计划将 HDF5 格式与 NumPy 一起使用）
如果有的话，请推荐任何其他替代品。

这里有以下问题

哪种方法可以为我们带来更好的结果（周转时间）并且具有成本效益？请务必提及我们存在的任何其他替代方案。
如果我们设置亚马逊服务，我们应该如何拥有数据格式？如果我们使用 dynamodb，成本会飙升吗？

谢谢

【问题讨论】：

标签： numpy hadoop amazon-ec2 machine-learning mahout

【解决方案1】：

我刚刚在 PiCloud 和 Amazon EC2 之间创建了一个comparison > 可能会有所帮助。

【讨论】：

【解决方案2】：

如果你正在寻找一些 Numpy 加速，你应该看看 numba： https://github.com/numba/numba

不能解决您的云扩展问题，但可能会减少计算时间。

【讨论】：

【解决方案3】：

这取决于您要解决的机器学习问题的性质。我建议您首先对数据集进行二次采样，使其适合内存（例如，假设稀疏表示，每个样本具有几百个非零特征的 100k 样本）。

然后在 scikit-learn 中尝试一些可扩展到大量样本的机器学习算法：

SGDClassifier 或 MultinomialNB，如果您想进行监督分类（如果您的数据集中有要预测的分类标签）
SGDRegressor 如果你想进行监督回归（如果你有连续的目标变量要预测）
MiniBatchKMeans 聚类以进行无监督聚类（但默认情况下没有客观的方法来量化生成的聚类的质量）。
...

执行网格搜索以找到模型超参数的最佳值（例如，正则化器 alpha 和 SGDClassifier 的通过次数 n_iter）并使用交叉验证评估性能。

完成后，使用 2 倍大的数据集（仍适合内存）重试，看看它是否能显着提高您的预测准确性。如果不是这种情况，那么不要浪费时间尝试在集群上并行化它以在完整数据集上运行它，因为它不会产生更好的结果。

如果它做了你能做的，就是将数据分割成碎片，然后在每个节点上分割数据，使用 picloud 独立地学习每个节点上的 SGDClassifier 或 SGDRegressor 模型并收集权重（coef_ 和 @987654327 @) 然后计算平均权重以构建最终的线性模型并在数据集的某个保留切片上对其进行评估。

了解有关错误分析的更多信息。看看如何绘制学习曲线：

【讨论】：

【解决方案4】：

PiCloud 构建在 AWS 之上，因此无论哪种方式，您最终都将使用 Amazon。问题是您必须自己编写多少基础架构才能将所有内容连接在一起。 PiCloud 提供了一些免费使用来完成它的步伐，所以你可能会一开始就试一试。我自己没有使用过它，但显然他们正在尝试为机器学习类型的应用程序提供易于部署的功能。

似乎这是在尝试结果，而不是作为云项目，所以我会考虑使用亚马逊的其他服务之一，除了直接 EC2 或其他一些其他软件，如 PiCloud 或 Heroku 或其他可以照顾的服务的引导。

【讨论】：

【解决方案5】：

AWS 有一个 program in place for supporting educational users，因此您可能想对该程序进行一些研究。

【讨论】：

您能否评论一下 PiCloud(Hdf5 with Scikit) VS AWS 的可能性。
不，我不熟悉 PiCloud。