【发布时间】:2018-08-28 08:08:58
【问题描述】:
我已经完成了一个关于如何直接使用 Apache Spark 与 RDBMS [MySQL] 交互的 POC。我能够使用以下代码从 spark-shell 与 MySQL 数据库进行交互:
>>> empDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/SPARKPOC").option("dbtable", "SPARKPOC.EMP").option("user", "myuser").option("password", "mypassword").option("driver", "com.mysql.jdbc.Driver").load()
>>> empDF.printSchema()
root
|-- EMPNO: integer (nullable = true)
|-- ENAME: string (nullable = true)
|-- JOB: string (nullable = true)
|-- MANAGERID: integer (nullable = true)
|-- SALARY: double (nullable = true)
|-- PHONE: long (nullable = true)
|-- DEPTNO: integer (nullable = true)
>>> empDF.show()
18/08/27 22:16:47 WARN SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yes
+-----+----------+---------+---------+------+-----------+------+
|EMPNO| ENAME| JOB|MANAGERID|SALARY| PHONE|DEPTNO|
+-----+----------+---------+---------+------+-----------+------+
| 7369| SMITA| CLERK| 7902| 800.0| 9567342250| 20|
| 7499| ANKUR| SALESMAN| 7698|1600.0|95673422300| 30|
| 7521| VIJAY| SALESMAN| 7698|1250.0|95673422500| 30|
| 7566| AJAY| MANAGER| 7839|2975.0| null| 20|
同样,我还能够使用 Apache Spark 执行查询并从 MySQL 获取所需的结果。
我正在寻找更清晰的内容:
spark 是否一次性从 RDBMS 中读取数据,将其存储在内存中,然后进行处理?
如果 Apache Spark 从 MySQL 读取数据之间连接失败怎么办?如果在两者之间有一些网络连接失败,Spark 是自己从头开始这个过程,还是我重新运行整个作业?
任何快速参考将不胜感激。
问候, 布佩什
【问题讨论】:
-
第一:一个问题太多,第二:主要是基于意见,对不起,它可能会关闭
-
即使我同意...
标签: apache-spark apache-spark-sql hadoop2 apache-spark-dataset apache-spark-2.0