因为作业要用到这个SPARK和python, 就着手开始配置,但是搜了一圈还是发现了不少雷。就把我自己的解决办法发上来:

  1. 打开pycharm,导入已有的或者新建工程。
    2.创建新的run configurition。

如何在pycharm中配置Spark
如右上角所示,选择edit configurition。

  1. 设置环境,创建PYTHONPATH和SPARK_HOME
    配置路径如图所示,都可以在Spark安装路径下找到:

如何在pycharm中配置Spark
4.选择 File->setting->你的project->project structure

 

如何在pycharm中配置Spark

右上角Add content root添加:py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下,自己找一下)
5.保存,ok

相关文章:

  • 2022-12-23
  • 2021-08-23
  • 2022-12-23
  • 2021-09-19
  • 2021-07-08
猜你喜欢
  • 2021-10-27
  • 2021-07-07
  • 2021-07-29
  • 2021-10-11
  • 2021-12-20
  • 2023-03-31
相关资源
相似解决方案