考拉 pip 安装在 pyarrow 依赖项上失败

Question

我尝试使用推荐的 pip install koalas 安装 Databricks 的新 koalas 软件包，但在 pyarrow 安装时失败。

然后我安装了pyarrow 并重试了koalas，但在pyarrow 上仍然失败。我访问了the Github page，它告诉我：

如果这无法安装 pyarrow 依赖项，您可能需要尝试 使用 Python 3.6.x 安装，因为 pip install 箭头不起作用 3.7 https://github.com/apache/arrow/issues/1125 的盒子。

我搜索了讨论，无法理解“解决方案”，也许是因为没有任何解决方案。我正在使用 Python 3.7.3。我得到的错误信息是：

  creating build/temp.macosx-10.7-x86_64-3.7
  -- Runnning cmake for pyarrow
  cmake -DPYTHON_EXECUTABLE=/anaconda3/bin/python  -DPYARROW_BOOST_USE_SHARED=on -DCMAKE_BUILD_TYPE=release /private/tmp/pip-install-uhdr9agf/pyarrow
  unable to execute 'cmake': No such file or directory
  error: command 'cmake' failed with exit status 1

  ----------------------------------------
  Failed building wheel for pyarrow
  Running setup.py clean for pyarrow
Failed to build pyarrow
Installing collected packages: pyarrow, koalas
  Found existing installation: pyarrow 0.13.0
    Uninstalling pyarrow-0.13.0:
      Successfully uninstalled pyarrow-0.13.0
  Running setup.py install for pyarrow ... error
    Complete output from command /anaconda3/bin/python -u -c "import setuptools, tokenize;__file__='/private/tmp/pip-install-uhdr9agf/pyarrow/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /private/tmp/pip-record-i7k4nwil/install-record.txt --single-version-externally-managed --compile:

...

    -- Runnning cmake for pyarrow
    cmake -DPYTHON_EXECUTABLE=/anaconda3/bin/python  -DPYARROW_BOOST_USE_SHARED=on -DCMAKE_BUILD_TYPE=release /private/tmp/pip-install-uhdr9agf/pyarrow
    unable to execute 'cmake': No such file or directory
    error: command 'cmake' failed with exit status 1

    ----------------------------------------
  Rolling back uninstall of pyarrow

... 

Command "/anaconda3/bin/python -u -c "import setuptools, tokenize;__file__='/private/tmp/pip-install-uhdr9agf/pyarrow/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /private/tmp/pip-record-i7k4nwil/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /private/tmp/pip-install-uhdr9agf/pyarrow/

我已经尝试过pip install koalas、sudo pip install koalas 和sudo -H pip install koalas，并且都有相同的错误消息。

有没有人找到解决这些错误的方法？还是考拉不（还）与 3.7 兼容？

Answer 1

您可能看到了这一点，但您提到的关于箭头的 github 帖子说“它确实适用于 Python”

我能够让考拉使用 python 3.6 在单机 spark 本地模式下工作，并成功运行 github 示例脚本......它还指定“推荐使用 pyspark>=2.4.0”

我相信如果你尝试 3.6，它会为你工作。

import sys
print(sys.version)
import pandas as pd
import databricks.koalas as ks
import pyarrow as pa

3.6.8

pdf = pd.DataFrame({'x':range(3), 'y':['a','b','b'], 'z':['a','b','b']})
print(pdf.head())

   x  y  z
0  0  a  a
1  1  b  b
2  2  b  b

df = ks.from_pandas(pdf)
df.columns = ['x', 'y', 'z1']
df['x2'] = df.x * df.x
df['x2']
0    0
1    1
2    4
Name: x2, dtype: int64