【问题标题】:Is Apache Spark a right option for processing data directly from RDBMS?Apache Spark 是直接从 RDBMS 处理数据的正确选择吗?
【发布时间】:2018-08-28 08:08:58
【问题描述】:

我已经完成了一个关于如何直接使用 Apache Spark 与 RDBMS [MySQL] 交互的 POC。我能够使用以下代码从 spark-shell 与 MySQL 数据库进行交互:

>>> empDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/SPARKPOC").option("dbtable", "SPARKPOC.EMP").option("user", "myuser").option("password", "mypassword").option("driver", "com.mysql.jdbc.Driver").load()

>>> empDF.printSchema()
root
 |-- EMPNO: integer (nullable = true)
 |-- ENAME: string (nullable = true)
 |-- JOB: string (nullable = true)
 |-- MANAGERID: integer (nullable = true)
 |-- SALARY: double (nullable = true)
 |-- PHONE: long (nullable = true)
 |-- DEPTNO: integer (nullable = true)

>>> empDF.show()
18/08/27 22:16:47 WARN SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yes
+-----+----------+---------+---------+------+-----------+------+
|EMPNO|     ENAME|      JOB|MANAGERID|SALARY|      PHONE|DEPTNO|
+-----+----------+---------+---------+------+-----------+------+
| 7369|     SMITA|    CLERK|     7902| 800.0| 9567342250|    20|
| 7499|     ANKUR| SALESMAN|     7698|1600.0|95673422300|    30|
| 7521|     VIJAY| SALESMAN|     7698|1250.0|95673422500|    30|
| 7566|      AJAY|  MANAGER|     7839|2975.0|       null|    20|

同样,我还能够使用 Apache Spark 执行查询并从 MySQL 获取所需的结果。

我正在寻找更清晰的内容:

spark 是否一次性从 RDBMS 中读取数据,将其存储在内存中,然后进行处理?

如果 Apache Spark 从 MySQL 读取数据之间连接失败怎么办?如果在两者之间有一些网络连接失败,Spark 是自己从头开始这个过程,还是我重新运行整个作业?

任何快速参考将不胜感激。

问候, 布佩什

【问题讨论】:

  • 第一:一个问题太多,第二:主要是基于意见,对不起,它可能会关闭
  • 即使我同意...

标签: apache-spark apache-spark-sql hadoop2 apache-spark-dataset apache-spark-2.0


【解决方案1】:

Spark 在从任何 rdbms 读取数据时创建与服务器的并行连接,并行会话的数量取决于以下参数

numPartitions PartitionColumn - 它应该是一个数字列 下界 上界

数据将从rdbms并行读取,一次读取多少条记录可以通过控制

fetchsize参数

始终建议将您各自的查询推送到数据库并让数据库处理优化,而不是直接在 dbtable 选项中提供表名。

如果您的连接失败,则无需重新运行您的作业。 Spark 将重试连接并读取数据

【讨论】:

  • 感谢您的快速和乐于助人的响应 Chandan。
  • 如果您在编码方面需要任何帮助,请告诉我。如果这有帮助,请接受答案并考虑投票
  • 感谢您快速而有帮助的回复。您能否帮助我理解您的评论 - “始终建议将您各自的查询推送到数据库并让数据库处理优化,而不是直接在 dbtable 选项中提供表名。”您是否可以提供任何参考/链接,以便我可以在这方面获得更多信息?此外,如果 Spark 将查询推送到数据库,将如何实现并行性?它的执行速度是否会比使用 Spark [在 Spark 集群内的内存中] 处理数据更快?
  • 虽然我没有任何官方文档。我的意思是,在从数据库中获取数据时,让数据库优化查询并为您提供结果,然后您可以将其保存在数据框中并使用 spark 进行内存处理。如果您有一些复杂的查询,那么最好将其传递给数据库本身
猜你喜欢
  • 2016-12-21
  • 2013-10-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多