谷歌colab中的Pyspark答案

【问题标题】：Pyspark in google colab谷歌colab中的Pyspark
【发布时间】：2023-02-17 23:05:50
【问题描述】：

我正在尝试在 google colab 上使用 pyspark。每个教程都遵循类似的方法

!pip install pyspark # Import SparkSession
from pyspark.sql import SparkSession # Create a Spark Session
spark = SparkSession.builder.master("local[*]").getOrCreate() # Check Spark Session Information
spark # Import a Spark function from library
from pyspark.sql.functions import col

但我得到一个错误

----> 4 spark = SparkSession.builder.master("local[*]").getOrCreate() # Check Spark Session Information

RuntimeError: Java gateway process exited before sending its port number

我尝试使用类似这样的方法安装 java

# Download Java Virtual Machine (JVM)
!apt-get install openjdk-8-jdk-headless -qq > /dev/null

按照教程的建议，但似乎没有任何效果。

【问题讨论】：

当您删除.master("local[*]") 时会发生什么？

标签： pyspark apache-spark-sql google-colaboratory

【解决方案1】：

这对我有用，所以我发帖以防有人需要它。

!pip install pyspark
!pip install -U -q PyDrive
!apt install openjdk-8-jdk-headless -qq
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"

import pyspark
import pyspark.sql  as pyspark_sql
import pyspark.sql.types as pyspark_types
import pyspark.sql.functions  as pyspark_functions
from pyspark import SparkContext, SparkConf

# create the session
conf = SparkConf().set("spark.ui.port", "4050")

# create the context
sc = pyspark.SparkContext(conf=conf)
spark = pyspark_sql.SparkSession.builder.getOrCreate()

【讨论】：