如何在 python 中从 redshift 更快地处理数据？

Question

我是 python 新手.. 我在 redshift 中有我的数据，我想在 python 中更快地处理数据。 我使用 python 是因为我想运行各种算法并对这些数据进行各种计算，而这在 redshift 中是不可能的。 我看到了教程，但每次加载 python 都花费了太多时间。 这是我的代码：

import psycopg2

con=psycopg2.connect(dbname = "xxxx", host="redshifttest-icp.cooqucvshoum.us-west-2.redshift.amazonaws.com", port= "5439", user="xxxx", password= "xxxx")
cur = con.cursor()

a = "select * from xxxx ;"

import pandas as pd
df = pd.read_sql(a,con)
df = df.fillna(0)
df2=df2.fillna(0)

这工作得很好，但我想要一些可以帮助我更快地处理数据的方法.. 谁能帮帮我？

Answer 1

如果您从 Redshift 中检索大量行（超过约 1 万行），最快的方法是使用 UNLOAD command 将它们作为 CSV 直接提取到 S3。然后，您可以检索提取并在 Python 中对其进行操作。

如果您正在处理更大的数字（数百万），那么我怀疑您将受到 Python 速度的限制。在这种情况下，我建议使用 Spark / PySpark 和 spark-redshift package。 Spark 将在幕后为您执行 UNLOAD，您的数据帧计算可以由 Spark 跨服务器集群并行化。

# Read data from a query
df = spark.read \
  .format("com.databricks.spark.redshift") \
  .option("url", "jdbc:redshift://redshifthost:5439/database?user=username&password=pass") \
  .option("query", "select x, count(*) my_table group by x") \
  .option("tempdir", "s3n://path/for/temp/data") \
  .load()