【问题标题】：Spark and Metastore RelationSpark 和 Metastore 的关系
【发布时间】：2017-09-21 22:57:53
【问题描述】：
我知道 Hive Metastore 用于存储我们在 HIVE 中创建的表的元数据，但为什么 spark 需要 Metastore，Metastore 和 Spark 之间的默认关系是什么
spark SQL 是否正在使用 metasore，如果是，这是否用于存储数据帧元数据？
为什么即使 iam 没有使用任何 sql 库，默认情况下 spark 也会检查元存储连接？
【问题讨论】：
标签：
apache-spark
apache-spark-sql
metastore
【解决方案1】：
这里是spark-2.2.0 documentation的解释
hive-site.xml未配置时，上下文自动在当前目录创建metastore_db，并创建spark.sql.warehouse.dir配置的目录，默认为当前目录下的spark-warehouse目录Spark 应用程序已启动。请注意，hive-site.xml 中的 hive.metastore.warehouse.dir 属性自 Spark 2.0.0 以来已弃用。相反，使用 spark.sql.warehouse.dir 指定仓库中数据库的默认位置。