如何使用 sparklyr spark_write_jdbc 连接 MySql答案

【问题标题】：How to use sparklyr spark_write_jdbc to connect to MySql如何使用 sparklyr spark_write_jdbc 连接 MySql
【发布时间】：2018-03-24 14:10:16
【问题描述】：

spark_write_jdbc(members_df,
    name = "Mbrs",
    options = list(
      url = paste0("jdbc:mysql://",mysql_host,":",mysql_port,"/",dbname),
      user = mysql_user,
      password = mysql_password),
    mode = "append")

导致以下异常：

Error: java.sql.SQLException: No suitable driver
  at java.sql.DriverManager.getDriver(DriverManager.java:315)

.jar 文件位于运行 RStudio 的服务器上的文件夹中，配置详细信息如下。我们能够通过 RMySql 包访问 MySql，因此 MySql 可以正常工作和访问。

config$`spark.sparklyr.shell.driver-class-path` <- "/dev/shm/temp/mysql-connector-java-5.1.44-bin.jar"

【问题讨论】：

标签： mysql r sparklyr

【解决方案1】：

即使问题不同，我认为答案仍然适用于这个：

How to use a predicate while reading from JDBC connection?

通过 sparklyr 连接 JDBC MySQL 的代码（我做了一些小改动以简化代码，由 Jake Russ 编写）

library(sparklyr)
library(dplyr)

config <- spark_config()
#config$`sparklyr.shell.driver-class-path` <- "E:\\spark232_hadoop27\\jars\\mysql-connector-java-5.1.47-bin.jar"
#in my case, using RStudio and Sparkly this seemed to be optional

sc <- spark_connect(master = "local")

db_tbl <- spark_read_jdbc(sc,
                  name    = "table_name",  
                  options = list(url      = "jdbc:mysql://localhost:3306/schema_name",
                                 user     = "root",
                                 password = "password",
                                 dbtable  = "table_name"))

【讨论】：