需要 SSL 时将 Python/pandas 连接到 Redshift

Question

我的公司最近更改了我们的 Redshift 集群，现在他们需要 SSL 连接。过去，我通过这里详述的方法将 Python/pandas 连接到 Redshift：http://measureallthethin.gs/blog/connect-python-and-pandas-to-redshift/

从 SQLAlchemy 文档看来，我需要做的只是将 connect_args={'sslmode':'require'} 添加到 create_engine() 调用中，正如该线程指出的那样：How do I connect to Postgresql using SSL from SqlAchemy+pg8000?

但是，我现在收到此错误：

OperationalError: (psycopg2.OperationalError) sslmode 值“require”在未编译 SSL 支持时无效

我将 Anaconda 发行版用于许多软件包，发现我需要按照以下说明更新我的 psycopg2 软件包：https://groups.google.com/a/continuum.io/d/msg/conda/Fqv93VKQXAc/mHqfNK8xZWsJ

但是，即使在更新 psycopg2 之后，我仍然会遇到同样的错误，并且在这一点上不知道如何进一步调试。我想弄清楚这一点，这样我就可以将我们的 Redshift 数据直接导入 pandas。

Answer 1

AWS 为 Python 开发了一个 Amazon Redshift 连接器 (here is the GitHub repo)，可在此过程中提供帮助。

为了安装它可以从源代码安装

git clone https://github.com/aws/amazon-redshift-python-driver.git
cd redshift_connector
pip install .

或者从二进制使用PyPi

pip install redshift_connector

或Conda

conda install -c conda-forge redshift_connector

这是一个例子

import redshift_connector

# Connects to Redshift cluster using AWS credentials
conn = redshift_connector.connect(
    host='examplecluster.abc123xyz789.us-west-1.redshift.amazonaws.com',
    database='dev',
    user='awsuser',
    password='my_password'
 )

cursor: redshift_connector.Cursor = conn.cursor()
cursor.execute("create Temp table book(bookname varchar,author varchar)")
cursor.executemany("insert into book (bookname, author) values (%s, %s)",
                    [
                        ('One Hundred Years of Solitude', 'Gabriel García Márquez'),
                        ('A Brief History of Time', 'Stephen Hawking')
                    ]
                  )
cursor.execute("select * from book")

result: tuple = cursor.fetchall()
print(result)
>> (['One Hundred Years of Solitude', 'Gabriel García Márquez'], ['A Brief History of Time', 'Stephen Hawking'])

请注意，可以通过的Connection Parameters 之一是 SSL（如果启用了 SSL）。默认值为TRUE。