【问题标题】:How to import data from MySQL to HDFS and split/partition/distribute data by foreign key relations?如何将数据从 MySQL 导入 HDFS 并通过外键关系拆分/分区/分发数据?
【发布时间】:2019-11-09 10:52:39
【问题描述】:

我是 HDFS 和 Spark 的新手。我有一些特定于地区(可能是一个国家或国家的一部分)和时间函数的模拟的输入数据。

假设我有以下表格:

region:
id, name

-

population:
id, region_id, year_2020, year_2021, .... year_2050

-

sun_hours:
id, region_id, year_2020, year_2021, .... year_2050

(实际情况比较复杂,嵌套实体和外键关系比较多)。

我想将所有数据从 MySQL 导入 HDFS 并按 region_id 分区。

理想情况下,我的集群的每个节点都负责一个区域,这样我就可以轻松并行处理这些区域。如果我想考虑更多区域,我可以通过添加更多节点来扩展模拟。 (我的模拟的一个基本假设是区域之间不相互作用)。

我希望在模拟过程中,数据不需要在节点之间传递,因为一个特定区域所需的所有数据都已经位于一个特定节点上。如果某些数据在拆分/分发过程中重复,对我来说是可以的。我预计单个区域的模拟要求非常高,因此单个节点可能不想并行计算多个区域。

我找到了一个sqoop命令将多个表导入到hdfs:

sqoop import-all-tables --connect jdbc:mysql://db.foo.com/corp

https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_literal_sqoop_import_all_tables_literal

但是,我找不到指定数据应如何分区和分布的方法。该过程应该考虑一些“主要实体”(=区域)。

我可以用 sqoop 做到这一点吗?如果是,您能否提供一个示例命令?

如果没有,是否有其他工具可用于我的目的?

如果我需要自己做,你会推荐给

a) 首先导入所有数据,然后重新组织它或

b) 首先重新组织数据并将其写入例如区域特定的文本文件,然后将其导入 HDFS?

即使我设法重新组织(分层)MySQL 数据,我如何确保所有相关数据都可以在单个节点上找到,并且不会分散在整个集群中?

与其他 workds:hdfs、spark 或其他一些大数据工具是否具有将相关内容保持在一起的功能?假设我有一些包含人口的 RDD 和一些其他包含太阳时间的 RDD。 区域 1 的人口和日照时数应位于节点 x...,区域 2 的人口数和日照时数应位于节点 y 上,依此类推。

(为了更不容易出错,这很好,我猜需要......在多个节点上复制数据。我只想确保在没有节点问题的模拟期间,节点之间的流量为尽可能低。)

编辑

我刚刚发现 GeoSpark 声明

GeoSpark 空间划分方法可以显着加快 加入查询。三种空间分区方法可用: KDB-Tree、Quad-Tree 和 R-Tree。 两个 SpatialRDD 必须由 同样的方式。

如果您首先对 SpatialRDD A 进行分区,则必须使用分区程序 从 A 到分区 B。

objectRDD.spatialPartitioning(GridType.KDBTREE) queryWindowRDD.spatialPartitioning(objectRDD.getPartitioner)

https://datasystemslab.github.io/GeoSpark/tutorial/rdd/

所以也许我应该尝试将我的 MySQL 数据库转换为与 GeoSpark 兼容的格式(“可以从 CSV、TSV、WKT、WKB、Shapefiles、GeoJSON 和 NetCDF/HDF 格式加载”)。

相关文章:

【问题讨论】:

  • 为什么一个Node不能处理多个region_ID?
  • 因为我预计单个区域的计算/模拟已经相当苛刻了。
  • 我想知道如何强制一个 id 映射到一个节点。没有考虑太久,因为下降到那个水平是相当过分的,但这是我的看法。
  • 你让生活变得困难。您的一份参考资料表明您不能保证工作节点的放置。
  • 你解决 BTW 了吗?

标签: mysql apache-spark import hdfs sqoop


【解决方案1】:

sqoop(不是 Spark)对于表来说更是如此。它可以使用视图,但据说对于复杂的视图,结果甚至可能不可靠。所以,这条路已经关闭了。

您需要将 spark.read JDBC 连接与 mySQL 中的视图一起使用,该视图使用 region_id 作为分发的关键 - 为了您的并行性 - 使用在“驱动”表上定义的 numPartitions 方法。与其他表的联接需要依赖 mySQL 引擎。

我不知道您的处理,但似乎很难实施 1 对 1 region_id 分区方法。此外,同一个节点上可能存在多个分区 - 但独立。

您可以独立获取所有表,然后加入,但是会出现洗牌,因为无法保证所有单独的 READ 的结果最终都会在同一个节点上。

【讨论】:

  • 如果我理解正确,我不应该使用 sqoop 进行导入。相反,我应该尝试在 MySQL 中创建一个巨大的视图,其中一个区域对应于一行。然后我可以使用 spark 按行读取和分区数据。这可能是一种方法......即使我担心单一怪物 MySQL 视图 可能超出我的数据库的能力。我试图改进我的问题,并将等待更多答案。如果没有补充,我会接受你的。
  • 我当然会认为返回的区域不止 1 行。但我不符合你的想法。我只是发表了我的看法。我们不知道什么是巨大的。您需要添加更多细节。
  • 好吧,如果您更喜欢一些数字......让我们假设在一个主视图中加入所有输入数据将导致 10 000 列和 10 000 000 行。
  • 机器学习?除非您正在生成这些列,否则对于关系数据库来说这很多。在这种情况下,您可以使用 sqoop 和 JOIN。我可以修改我的答案,但是 10K 列何时实现。但即使是 10M 的 mysql 也是可行的——如果你有正确的集群的话。那么,什么时候有 10K 行呢?
  • 一般来说,提供的信息越多,答案就越好。尽管如此,对于给出的信息,答案就足够了。
猜你喜欢
  • 2015-01-24
  • 1970-01-01
  • 2020-08-24
  • 2016-03-31
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-02-10
相关资源
最近更新 更多