如何在 Linux 上安装 Python 包，以便已经工作的 PostgreSQL 13 plpython3u 扩展可以找到它？

Question

分拆：

我试图抓住“Module not found” when importing a Python package within a plpython3u procedure 的想法，我不知道如何使用那里接受的答案使其在Linux 上运行。通常，这里应该是重复的，但如果在使用的路径上与 MacOS 有差异，它可能对一个新问题有好处。

安装 PostgreSQL 13

我在 WSL2 (Ubuntu 20.04) 上。我使用来自PostgreSQL Apt Repository for Ubuntu 的官方 PostgreSQL 下载页面的命令进行安装。

# Create the file repository configuration:
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

# Import the repository signing key:
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

# Update the package lists:
sudo apt-get update

# Install the latest version of PostgreSQL.
# If you want a specific version, use 'postgresql-12' or similar instead of 'postgresql':
sudo apt-get -y install postgresql

这给了我 PostgreSQL 13。

正确安装plpython3u

我用来自PostgreSQL: how to install plpythonu extension的命令安装了plpython3u：

sudo apt-cache search ".*plpython3.*"
sudo apt-get install postgresql-contrib postgresql-plpython3-13

因为我在 WSL 上，所以我用以下方式启动服务：

service postgresql start

更改角色并运行 psql：

sudo su postgres
psql

带有 plpython3u 的 PostgreSQL 安装和测试，无需导入包

在 postgreSQL 中以存储过程的形式直接检查 Python 版本：

CREATE OR REPLACE FUNCTION return_version()
  RETURNS VARCHAR
AS $$
    import sys
    return sys.version
$$ LANGUAGE plpython3u;

输出：

CREATE FUNCTION

测试：

postgres=# SELECT return_version();
              return_version
------------------------------------------
 3.8.10 (default, Jun  2 2021, 10:49:15) +
 [GCC 9.4.0]
(1 row)

显示对于“PostgreSQL 13”，“Python 3.8.10” 已安装。

这正是在 Linux 上可以找到的。如果我只是输入一个我没有的 Python 版本，比如3.7：

python3.7

我得到了概述：

Command 'python3.7' not found, did you mean:

  command 'python3.8' from deb python3.8 (3.8.10-0ubuntu1~20.04)
  command 'python3.9' from deb python3.9 (3.9.5-3~20.04.1)
  command 'python2.7' from deb python2.7 (2.7.18-1~20.04.1)

确认没有安装两个并行安装的 Python 3.8，很明显 Linux 3.8.10 是 PostgreSQL 中 plpython3u 使用的版本。

plpython3u 存储过程测试与导入的包

我尝试了一个导入包的函数，取自Kmeans in PostgreSQL in a nutshell：

CREATE OR replace FUNCTION kmeans(input_table text, columns text[], clus_num int) RETURNS bytea AS
 
$$
 
from pandas import DataFrame
from sklearn.cluster import KMeans
from pickle import dumps
 
all_columns = ",".join(columns)
if all_columns == "":
    all_columns = "*"
 
rv = plpy.execute('SELECT %s FROM %s;' % (all_columns, plpy.quote_ident(input_table)))
 
frame = []
 
for i in rv:
    frame.append(i)
df = DataFrame(frame).astype('float')
kmeans = KMeans(n_clusters=clus_num, random_state=0).fit(df._get_numeric_data())
return dumps(kmeans)
 
$$ LANGUAGE plpython3u;

输出：

CREATE FUNCTION

测试抛出错误：

postgres=# SELECT kmeans('my_table', ARRAY['col1', 'col2'],3);
ERROR:  ModuleNotFoundError: No module named 'pandas'
CONTEXT:  Traceback (most recent call last):
  PL/Python function "kmeans", line 3, in <module>
    from pandas import DataFrame
PL/Python function "kmeans"

然后，我在 Python 中安装了 pandas 3.8：

python3.8 -m pip install pandas
Collecting pandas
  Downloading pandas-1.3.2-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (11.5 MB)
     |████████████████████████████████| 11.5 MB 6.0 MB/s
Collecting python-dateutil>=2.7.3
  Downloading python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)
     |████████████████████████████████| 247 kB 4.7 MB/s
Collecting numpy>=1.17.3
  Downloading numpy-1.21.2-cp38-cp38-manylinux_2_12_x86_64.manylinux2010_x86_64.whl (15.8 MB)
     |████████████████████████████████| 15.8 MB 131 kB/s
Collecting pytz>=2017.3
  Downloading pytz-2021.1-py2.py3-none-any.whl (510 kB)
     |████████████████████████████████| 510 kB 5.7 MB/s
Requirement already satisfied: six>=1.5 in /usr/lib/python3/dist-packages (from python-dateutil>=2.7.3->pandas) (1.14.0)
Installing collected packages: python-dateutil, numpy, pytz, pandas
  WARNING: The scripts f2py, f2py3 and f2py3.8 are installed in '/home/my_user/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
Successfully installed numpy-1.21.2 pandas-1.3.2 python-dateutil-2.8.2 pytz-2021.1

熊猫现在存储在：

python3.8 -m pip show pandas
Name: pandas
Version: 1.3.2
Summary: Powerful data structures for data analysis, time series, and statistics
Home-page: https://pandas.pydata.org
Author: The Pandas Development Team
Author-email: pandas-dev@python.org
License: BSD-3-Clause
Location: /home/my_user/.local/lib/python3.8/site-packages
Requires: numpy, python-dateutil, pytz
Required-by:

但是测试仍然抛出同样的错误：

postgres=# SELECT kmeans('my_table', ARRAY['col1', 'col2'],3);
ERROR:  ModuleNotFoundError: No module named 'pandas'
CONTEXT:  Traceback (most recent call last):
  PL/Python function "kmeans", line 3, in <module>
    from pandas import DataFrame
PL/Python function "kmeans"

问题

如何安装 pandas（或我需要的任何其他包），以便 Linux 上的 PostgreSQL 13 plpython3u 扩展找到它？

PS：可能不需要旁注

可能不需要：在 plpython3u 存储过程中使用“which”来检查 Python

分拆的问题中有另一个版本测试，但没有显示扩展内部的任何内容，命令与普通 bash 中的命令相同。因此，下面的值被简化为只是一个plpython3u函数的随机测试。我添加这个只是因为你永远不应该 100% 确定。对我来说，很明显这并没有说明 plpython3u 实际使用的 Python 版本。

CREATE OR REPLACE FUNCTION get_py()
  RETURNS VARCHAR
AS $$
    import os
    return os.popen('which python3').read()
$$ LANGUAGE plpython3u;

输出：

CREATE FUNCTION

测试：

SELECT get_py();
      get_py
------------------
 /usr/bin/python3+

(1 row)

'which python3.8'也一样：

select get_py();
       get_py
--------------------
 /usr/bin/python3.8+

(1 row)

可能不需要：使用 make 和默认 Python 版本进行安装

也许在安装之前必须更改 Python 的默认版本？这只是来自an installation using make, with Python settings in /etc/make.conf 的一个非常模糊的猜测，这是那里使用的代码（2018 年的问题）：

将/etc/make.conf 更改为

DEFAULT_VERSIONS+= python=3.6

据说这个跑通安装了plpython3u（这个我没测试过）：

root@db% cd /usr/ports/databases/posgresql10-plpython
root@db% make fetch
root@db% make extract
root@db% cd /usr/ports/databases/postgresql10-plpython/work/postgresql-10.5
root@db% ./configure PYTHON=/usr/local/bin/python3 --with-python --with-libraries=/usr/local/lib --with-includes=/usr/local/include/
root@db% cd /usr/ports/databases/posgresql10-plpython
root@db% make install

Answer 1

问题在于：

python3.8 -m pip install pandas

在运行命令的用户主目录中的site-packages 中安装一个包（本例中为pandas），因此：

/home/my_user/.local/lib/python3.8/site-packages

在 Postgres 中运行的 plpython3u 扩展正在寻找系统范围内的包 site-packages。要在那里获取包裹，您需要执行以下操作：

sudo python3.8 -m pip install pandas