我是 Spark 的初学者。 我安装了 java 和 spark-1.6.1-bin-hadoop2.6.tgz（我还没有安装 Hadoop）并且没有更改 conf 目录中的任何配置运行 spark-shell。 在安装了 spark 的目录中，我看到另一个 metastore_db 在里面创建了 tmp 文件夹。 为什么要创建这个 metastore_db，这是在哪里配置的？ 我还看到运行 spark-shell 后创建了 sqlContext，这个 sqlContext 代表什么？
【问题讨论】：
标签： apache-spark
运行 spark-shell 时，会创建 SparkContext 和 SQLContext。 SQLContext 是 SparkContext 的扩展，以支持Spark SQL。它具有执行 sql 查询（方法 sql）和创建 DataFrames 的方法。
db_metastore 是 Hive 元存储路径。 Spark 通过 HiveContext 支持 Apache Hive 查询。如果没有配置 hive-site.xml，Spark 将使用 db_metastore 路径，详见documentation。
不过，最好下载 Spark 2.0。那里有一个统一的 Spark 入口点，名为 SparkSession。该类允许您从多个来源读取数据、创建数据集等。
【讨论】：