更改数据块上的 PATH 环境变量答案

【问题标题】：change PATH env variable on databricks更改数据块上的 PATH 环境变量
【发布时间】：2019-12-20 07:36:32
【问题描述】：

我需要更新我的 python 路径，以便我可以在 databricks 上使用 python3。

在 databricks 笔记本上：

  %sh
  echo $PATH

  /databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin

然后，我运行：

  %sh
  export PATH=/databricks/python3/bin:$PATH

但是，我还是得到了：

  %sh
  echo $PATH

  /databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin

如何更改 PATH？另外，我在databricks上创建集群的时候，python版本是3.6，为什么要用python2呢？

谢谢

【问题讨论】：

也许它只为这一次执行 sh 设置了新路径——你可以在同一个单元格中运行 export 和 echo 来检查它。
我创建了社区帐户，当我检查笔记本（和集群）时，它只显示了 Python3。在Clusters 它显示"Runtime 6.1 (Scala 2.11, Spark 2.4.4) This Runtime version supports only Python 3." 也许你必须用不同的设置创建新的分类器。
您正在使用过时的运行时环境运行集群。这有什么原因吗？

标签： python python-3.x environment-variables databricks

【解决方案1】：

根据Databricks的官方文档Cluster Configurations / Databricks Runtime / Python version，听起来你现在的databricks集群是用Python 2为Runtime 5.5或更低版本创建的，因为5.5以上的databricks运行时版本只支持Python 3，如下图。

所以如果你只想在databricks中使用Python 3，你只需要创建一个运行时版本在5.5以上的集群。

或者，如果您必须使用 Runtime 5.5，请创建一个新集群以指定 Python 2。注意：我尝试在现有运行集群上通过 %sh export PYSPARK_PYTHON=.... 使用 Python 3 路径设置环境变量 PYSPARK_PYTHON，它不工作。

【讨论】：