【发布时间】:2018-01-01 08:11:47
【问题描述】:
我想将我的 rdd 持久化到 mysql 数据库表中。我使用了一个 map 函数来遍历 RDD,并将每个元组传递到我的函数中,在那里我进行持久化。在这里,我想将我的工作并行化为主节点和从节点。
但是它不能正常工作并且它没有调用我使数据库持久化的函数。
如果我使用 collect() 例如 courseSet.collect().map(m => sendCourseInfo(m)) 而不是 courseSet.map(m => sendCourseInfo(m)) 这将正常工作。
我不想在这里使用 collect() 。
我在很多文章中搜索过这个,但无法弄清楚。谁能帮我解决这个问题。
下面是我的代码,
.....
x.toString().split(",")(1),
x.toString().split(",")(2),
x.toString().split(",")(3)))
courseSet.map(m => sendCourseInfo(m))
}
def sendCourseInfo(courseData: (Int, String, String, String)): Unit = {
try {
DatabaseUtil.setJDBCConfiguration()
val jdbcConnection: java.sql.Connection = DatabaseUtil.getConnection
val statement = "{call insert_course (?,?,?,?)}"
val callableStatement = jdbcConnection.prepareCall(statement)
callableStatement.setInt(1, courseData._1)
callableStatement.setString(2, courseData._2)
callableStatement.setString(3, courseData._3)
callableStatement.setString(4, courseData._4)
callableStatement.executeUpdate
} catch {
case e: SQLException => println(e.getStackTrace)
}
}
【问题讨论】:
-
试试
courseSet.map(m => sendCourseInfo(m)).count,否则map-statement永远不会执行(RDD转换是惰性的)或者courseSet.foreach(m => sendCourseInfo(m))不是惰性的
标签: hadoop apache-spark apache-spark-sql rdd