【问题标题】:Estimating computation costs for parallel computing估计并行计算的计算成本
【发布时间】:2013-06-20 04:38:21
【问题描述】:

我对并行计算世界很陌生。我的团队使用 Amazon EC2 和 S3 来管理所有数据,它确实为我打开了一个新世界。

我的问题是如何估算计算成本。假设我在 Amazon S3 上有 n TB 数据和 k 个文件(例如,我有 0.5 TB 数据和 7000 个 zip 文件),我想遍历所有文件,并使用 Pig Latin 为每一行执行一个正则表达式匹配操作文件。

我对估算这些成本非常感兴趣:

  1. 我应该选择多少个实例来执行此任务?什么是 实例的容量(主实例的大小和 map-reduce 实例)?我可以扣除这些容量和成本吗 基于 n 和 k 以及每个操作成本?
  2. 我设计了一个示例数据流:我使用了一个 xlarge 实例作为 我的主节点和 10 个中型实例作为我的 map reduce 组。 这样就够了吗?
  3. 如何最大化每个实例的带宽以从 S3 获取数据?从我设计的数据流来看,S3 的读取速度大约为每分钟 250,000,000 字节。究竟有多少数据传输到 ec2 实例?这会成为我工作流程的瓶颈吗?

【问题讨论】:

    标签: hadoop amazon-s3 amazon-ec2 mapreduce elastic-map-reduce


    【解决方案1】:

    1- 恕我直言,这完全取决于您的需求。您需要根据要执行的计算强度来选择它。您显然可以根据您的数据集和您要对该数据执行的计算量来降低成本。

    2- 需要多少数据?什么样的操作?延迟/吞吐量?对于 POC 和小型项目,这似乎已经足够了。

    3- 这实际上取决于几件事,例如 - 您是否与 S3 端点位于同一区域、您在某个时间点访问的特定 S3 节点等。使用 EBS 可能会更好例如,如果您需要更快的数据访问,恕我直言。您可以将 EBS 卷挂载到您的 EC2 实例,并将您经常需要的数据保留在其中。否则,一些直接的解决方案是在服务器之间使用 10 Gigabit 连接,或者可能使用专用(昂贵)实例。但是,没有人能保证数据传输是否会成为瓶颈。有时可能。

    我不知道这是否完全回答了您的费用查询,但他们的Monthly Calculator 肯定可以。

    【讨论】:

    • 嗨!感谢您的回答。我仍然不太了解我的 emr 工作流程的计算时间和计算成本。例如,我得到了 0.5 TB 数据和 7000 个 zip 文件,我想对文件的每一行执行一个正则表达式匹配(每个文件有 5000 行)。如何粗略估计 10 个实例处理这些文件的总时间?
    • @Seen 每个工作负载都不同。最好的办法是测试几个文件需要多长时间。有了这些信息,您应该知道处理整个数据集需要多长时间。
    • @Seen :这正是我要写的。首先获取一个文件并捕获每个指标并相应地进行计算。我的意思是这就是人们通常的方式。使用 0.5 TB 数据和 7000 个 zip 文件会有点麻烦。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-06-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多