为什么 IntelliJ IDEA 对 spark.sparkContext.textFile 说“无法解析符号火花”？答案

【问题标题】：Why does IntelliJ IDEA say "Cannot resolve symbol spark" for spark.sparkContext.textFile?为什么 IntelliJ IDEA 对 spark.sparkContext.textFile 说“无法解析符号火花”？
【发布时间】：2017-06-29 21:31:31
【问题描述】：

下面是我的pom.xml

<groupId>recommend</groupId>
<artifactId>MovieLensALS</artifactId>
<version>1.0-SNAPSHOT</version>


<properties>
    <spark.version>2.1.1</spark.version>
    <scala.version>2.11</scala.version>
</properties>


<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.version}</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_${scala.version}</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.version}</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_${scala.version}</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_${scala.version}</artifactId>
        <version>${spark.version}</version>
    </dependency>

</dependencies>

<build>
    <plugins>

        <plugin>
            <groupId>org.scala-tools</groupId>
            <artifactId>maven-scala-plugin</artifactId>
            <version>2.15.2</version>
            <executions>
                <execution>
                    <goals>
                        <goal>compile</goal>
                        <goal>testCompile</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>

        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.6.0</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>

        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-surefire-plugin</artifactId>
            <version>2.19</version>
            <configuration>
                <skip>true</skip>
            </configuration>
        </plugin>

    </plugins>
</build>

我想使用 Spark Sql int Intellij，但有些事情是错误的。我的 Spark 版本是最新的 2.1.1，scala 版本是 2.11。* 谁能告诉我有什么问题或告诉我如何编写有关 spark sql(2.1.1) 的代码

【问题讨论】：

标签： scala apache-spark intellij-idea apache-spark-sql

【解决方案1】：

您必须创建一个名为 spark 的 SparkSession 实例。

引用Starting Point: SparkSession:

Spark 中所有功能的入口点是SparkSession 类。要创建基本的SparkSession，只需使用SparkSession.builder()

引用scaladoc of SparkSession：

构建器也可用于创建新会话：

SparkSession.builder()
  .master("local")
  .appName("Word Count")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

Protip 不要将spark.sparkContext 用于 Spark SQL 中的任何内容。请改用SparkSession.read。

【讨论】：