【问题标题】:RDD is not working when try to persist into database in Apache Spark尝试在 Apache Spark 中持久保存到数据库时,RDD 不起作用
【发布时间】:2018-01-01 08:11:47
【问题描述】:

我想将我的 rdd 持久化到 mysql 数据库表中。我使用了一个 map 函数来遍历 RDD,并将每个元组传递到我的函数中,在那里我进行持久化。在这里,我想将我的工作并行化为主节点和从节点。

但是它不能正常工作并且它没有调用我使数据库持久化的函数。

如果我使用 collect() 例如 courseSet.collect().map(m => sendCourseInfo(m)) 而不是 courseSet.map(m => sendCourseInfo(m)) 这将正常工作。

我不想在这里使用 collect() 。

我在很多文章中搜索过这个,但无法弄清楚。谁能帮我解决这个问题。

下面是我的代码,

 .....
  x.toString().split(",")(1),
  x.toString().split(",")(2),
  x.toString().split(",")(3)))

 courseSet.map(m => sendCourseInfo(m))
}

def sendCourseInfo(courseData: (Int, String, String, String)): Unit = {
    try {
      DatabaseUtil.setJDBCConfiguration()

      val jdbcConnection: java.sql.Connection = DatabaseUtil.getConnection

      val statement = "{call insert_course (?,?,?,?)}"
      val callableStatement = jdbcConnection.prepareCall(statement)
      callableStatement.setInt(1, courseData._1)
      callableStatement.setString(2, courseData._2)
      callableStatement.setString(3, courseData._3)
      callableStatement.setString(4, courseData._4)

      callableStatement.executeUpdate
    } catch {
      case e: SQLException => println(e.getStackTrace)
    }
}

【问题讨论】:

  • 试试courseSet.map(m => sendCourseInfo(m)).count,否则map-statement永远不会执行(RDD转换是惰性的)或者courseSet.foreach(m => sendCourseInfo(m))不是惰性的

标签: hadoop apache-spark apache-spark-sql rdd


【解决方案1】:

您在 RDD 上调用 map() ,这是一个转换而不是一个动作。因此,要执行它,您需要调用一些操作,例如,

courseSet.foreach(sendCourseInfo)

对你正在做的事情的额外建议,

无论x 是什么,您都将其转换为String,将其拆分并从该拆分中提取某些内容。您为 RDD/Collection 中的每个元素执行三次。所以,你可以用这样的东西来优化它,

x.map(_.toString.split(",")).map(x=>(x(1),x(2),x(3)))

接下来,您必须将此数据保存在 DB 中,在本例中为 MySql。为此,您正在使用 java 的常用 jdbc 连接,为每个元素创建一个新的连接和操作。相反,使用 Spark 2.x 做这样的事情,

import org.apache.spark.sql.SparkSession
import java.util.Properties

...

case class TableSchema(col1:Int,col2:String,col3:String,col4:String)
val props = new Properties()

def main(args: Array[String]): Unit = {

val ss = SparkSession.builder.appName("Test").master("local[*]").getOrCreate()

import ss.implicits._

...

props.setProperty("username", "username")
props.setProperty("password", "password")    

val df = rdd.map(_.toString.split(",")).map(x=>TableSchema(x(0),x(1),x(2),x(3))).toDF()

df.write.jdbc(s"jdbc:mysql://${mysqlHost}/${mysqlDBName}", "tablename", props)

}

如果这有帮助,请告诉我,干杯。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-01-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-05-12
    相关资源
    最近更新 更多