【问题标题】:Extract points from very large girds从非常大的网格中提取点
【发布时间】:2011-02-04 18:41:39
【问题描述】:

我有 10 个网格(当前存储为 GIS 中的 ascii 网格),每个网格大约有 4.5GB 未压缩。此外,我有大约 100,000 个带有 x 和 y 坐标的位置。我需要在每个位置提取网格值。我目前正在使用 GRASS GIS 进行此操作,但速度很慢。谁能向我推荐最适合此类任务的库或编程语言?

提前致谢!

【问题讨论】:

  • 应用程序是什么?无论您在做什么,都必须有更好的方法!
  • 您是程序员还是需要已经编写好的东西?您的数据可以变得更小,并且很可能适合内存。例如,一个 16 字节的 x,y,id 结构可以在 1 GB 的 ram 中保存 67,108,864 个点。
  • @Benjamin,我正在使用 R 进行一些建模并准备数据

标签: large-data-volumes


【解决方案1】:

听起来像是 Hadoop MapReduce 的经典用例。

Hadoop MapReduce 是一种编程模型和软件框架,用于编写可在大型计算节点集群上快速并行处理大量数据的应用程序。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-01-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多