使用 AWS Lambda 错误写入数据库 - 调用调用 API 操作失败并显示以下消息：网络错误

Question

我正在查询 API，将其存储到 pandas 数据帧，对其进行转换，然后将其写入 AWS Redshift 数据库。在我的本地机器上没有问题，一切正常。当我将代码放在 AWS Lambda 中时，我收到了这个错误：

Calling the invoke API action failed with this message: Network Error

我读到这可能是由于它可以写入数据库的行数限制，然后我尝试只向数据库写入 1 行但仍然出现相同的错误。

我写的代码是这样的：

conn = create_engine('postgresql://user:password@redshifteu-west-1.redshift.amazonaws.com:5439/dev')
result.to_sql('table_1', conn, index=False, if_exists='replace', schema='schema')

我正在使用 pandas to_sql 方法和 sqlalchemy。如何使用 AWS Lambda 将我的数据帧写入 Redshift 数据库？

Answer 1

请注意，您可能需要psycopg2 才能通过 SQLAlchemy 连接到 Redshift：

pip install psycopg2

---

现在另一种可能性是您基本上超过了limit of S3 的速率。

---

如果以上都行不通，并且你有信心没有超过速率限制，你可以给pandas_redshift一试：

# pip install pandas-redshift
import pandas_redshift as pr


pr.connect_to_redshift(
    dbname='dev', host='redshifteu-west-1.redshift.amazonaws.com', 
    port=5439, user='user', password='password'
)

pr.connect_to_s3(
   aws_access_key_id='aws_access_key_id',
   aws_secret_access_key='aws_secret_access_key',
   bucket='bucket_name',
   subdirectory='subdirectory'
)

pr.pandas_to_redshift(data_frame=result, redshift_table_name='table_1')