【发布时间】:2019-11-09 10:52:39
【问题描述】:
我是 HDFS 和 Spark 的新手。我有一些特定于地区(可能是一个国家或国家的一部分)和时间函数的模拟的输入数据。
假设我有以下表格:
region:
id, name
-
population:
id, region_id, year_2020, year_2021, .... year_2050
-
sun_hours:
id, region_id, year_2020, year_2021, .... year_2050
(实际情况比较复杂,嵌套实体和外键关系比较多)。
我想将所有数据从 MySQL 导入 HDFS 并按 region_id 分区。
理想情况下,我的集群的每个节点都负责一个区域,这样我就可以轻松并行处理这些区域。如果我想考虑更多区域,我可以通过添加更多节点来扩展模拟。 (我的模拟的一个基本假设是区域之间不相互作用)。
我希望在模拟过程中,数据不需要在节点之间传递,因为一个特定区域所需的所有数据都已经位于一个特定节点上。如果某些数据在拆分/分发过程中重复,对我来说是可以的。我预计单个区域的模拟要求非常高,因此单个节点可能不想并行计算多个区域。
我找到了一个sqoop命令将多个表导入到hdfs:
sqoop import-all-tables --connect jdbc:mysql://db.foo.com/corp
https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_literal_sqoop_import_all_tables_literal
但是,我找不到指定数据应如何分区和分布的方法。该过程应该考虑一些“主要实体”(=区域)。
我可以用 sqoop 做到这一点吗?如果是,您能否提供一个示例命令?
如果没有,是否有其他工具可用于我的目的?
如果我需要自己做,你会推荐给
a) 首先导入所有数据,然后重新组织它或
b) 首先重新组织数据并将其写入例如区域特定的文本文件,然后将其导入 HDFS?
即使我设法重新组织(分层)MySQL 数据,我如何确保所有相关数据都可以在单个节点上找到,并且不会分散在整个集群中?
与其他 workds:hdfs、spark 或其他一些大数据工具是否具有将相关内容保持在一起的功能?假设我有一些包含人口的 RDD 和一些其他包含太阳时间的 RDD。 区域 1 的人口和日照时数应位于节点 x...,区域 2 的人口数和日照时数应位于节点 y 上,依此类推。
(为了更不容易出错,这很好,我猜需要......在多个节点上复制数据。我只想确保在没有节点问题的模拟期间,节点之间的流量为尽可能低。)
编辑
我刚刚发现 GeoSpark 声明
GeoSpark 空间划分方法可以显着加快 加入查询。三种空间分区方法可用: KDB-Tree、Quad-Tree 和 R-Tree。 两个 SpatialRDD 必须由 同样的方式。
如果您首先对 SpatialRDD A 进行分区,则必须使用分区程序 从 A 到分区 B。
objectRDD.spatialPartitioning(GridType.KDBTREE) queryWindowRDD.spatialPartitioning(objectRDD.getPartitioner)
https://datasystemslab.github.io/GeoSpark/tutorial/rdd/
所以也许我应该尝试将我的 MySQL 数据库转换为与 GeoSpark 兼容的格式(“可以从 CSV、TSV、WKT、WKB、Shapefiles、GeoJSON 和 NetCDF/HDF 格式加载”)。
相关文章:
【问题讨论】:
-
为什么一个Node不能处理多个region_ID?
-
因为我预计单个区域的计算/模拟已经相当苛刻了。
-
我想知道如何强制一个 id 映射到一个节点。没有考虑太久,因为下降到那个水平是相当过分的,但这是我的看法。
-
你让生活变得困难。您的一份参考资料表明您不能保证工作节点的放置。
-
你解决 BTW 了吗?
标签: mysql apache-spark import hdfs sqoop