【问题标题】:MPI programming get external fileMPI编程获取外部文件
【发布时间】:2014-05-21 02:09:00
【问题描述】:

我有问题,如何将我在 C. 上的 mpi 代码上的外部 file.txt 读取到包含 10000 个单词的 file.txt 中,我将过滤这个单词删除符号和数字,我得到这样的输出:

A
As
America
And
Are
Aztec

B
Bald
Bass
Best

up to Z

我的问题是,如何在并行计算上处理它?

【问题讨论】:

  • 1.使用文件内存映射将文件读入内存; 2. 对数据使用多线程合并排序的变体。
  • 这闻起来像家庭作业

标签: c mpi cluster-computing mpich


【解决方案1】:

不清楚您是在询问并行 i/o 的 MPI_File 例程,还是询问如何在 MPI 中处理文件。我假设您在询问 MPI_File 例程。

对于未格式化的文本文件,可能很难提出并行分解策略。你的文件有 10000 个单词,包括符号和数字,所以它实际上并不是很多数据。

如果您知道如何使用 POSIX 系统调用 openreadclose,那么您可以在第一遍中将这些调用简单地替换为 MPI_File_openMPI_File_readMPI_File_close .

您可以忽略 MPI 文件视图、内存中数据类型和集体 I/O 等细节:您的数据可能不够大,不足以支持更复杂的技术。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-11-23
    • 2018-03-15
    • 1970-01-01
    • 2012-10-06
    相关资源
    最近更新 更多