处理如此大的数据需要多少台服务器[关闭]

Question

我们有 100 万个数据集，每个数据集大约 180mb。所以我们的数据总大小约为 185T。每个数据集都是纯 DEL 文件，只有三列。前两列是行键，最后一列是行的值。比如第一列是A，第二列是B，第三列是C。A的值就是数据集的编号，所以A固定在一个数据集中，范围是1-100万。 B 是位置编号，B 的范围可以从 1 到 300 万。

我们计划做的是给定 B 的任意一组非重叠范围，例如从 1-1000、10000-13000、16030-17000....，我们计算每个数据集的值的总和所有这些范围，并以秒为单位返回前 200 个数据集编号（A）。

有没有大数据方面的专业人士知道我们需要多少台服务器来处理这个案例？我的老板相信 10 台服务器（每台 16 核）可以用 50,000 美元的预算来完成。你觉得可行吗？

Answer 1

我认为在这种情况下，Microsoft Azure 等服务可以成为您的朋友。我认为您的预算将进一步使用“按使用付费”服务。您可以决定要使用多少服务器/实例来处理数据。

我确实认为您的数据当前的格式可能是一个小问题。我肯定会考虑使用 Azure 表存储，并首先致力于在这样的服务中获取数据。一旦完成，您现在就拥有了一个更“可查询”和更可靠的数据存储。从那里您可以使用您选择的语言与该数据进行交互。使用表存储，您可以创建分区键。

一旦你有了想要使用的分区，你就可以创建一个服务，你可能会提供一个分区或更可能的分区范围，它会处理它。您将能够调整实例的大小以及应该驱动它们的硬件，有了这样的东西，您就可以确定一个实例处理 x 条记录所需的平均时间。也许你可以写一些关于性能的日志。

一旦您有了日志，就很容易以合理的准确度确定该过程需要多长时间。然后，您可以开始向您的服务添加更多实例，从而开始以更快的速度处理数据。

表存储还设计用于处理大型数据集，因此通过阅读有关此的文档，您会发现许多可以使用的关键功能。

老实说，有很多方法可以解决这个问题，这只是我过去使用过的一种选择，当时它对我有用。

如果这对您来说是一个可行的选择，我会确保将您的数据和服务放在同一个数据中心。虽然我假设您的文件中有某种形式的序列，但您也可以保留占位符来存储您的总和值以供将来使用，并且如果您的数据在未来增长，您可以简单地添加新数据并再次运行您的服务来更新系统。

如果不确保您可以以某种或其他方式保留您的总和值，我不会继续这个旅程，否则如果您将来需要再次获取这些值，您将再次需要从头开始。

我设法找到了一篇关于上述使用大数据的服务的快速文章。也许它可以进一步帮助你。 http://www.troyhunt.com/2013/12/working-with-154-million-records-on.html