AWS：从 Pandas 数据帧写入 DynamoDB

Question

我有一个用 Python 编写的 AWS Glue 作业。其中有一个大型 Pandas 数据框 - 其中包含的数据需要写入 DynamoDB。

我目前正在使用 Glue 的“write_dynamic_frame”功能来实现这一点，因为它可以解决在短时间内写入大量数据时有时会出现“500 SlowDown”错误等问题。

它正在工作，但将数据实际写入数据库相当慢（写入 1,000 条记录需要 2 分钟以上）。

我的流程目前是这样的：

my_df = {populate Pandas dataframe...}
table_name = "my_dynamodb_table_name"

# Pandas -> Spark -> DynamicFrame
spark_df: DataFrame = spark.createDataFrame(my_df)
result_df: DynamicFrame = DynamicFrame.fromDF(spark_df, glue_context, "result_df")

num_partitions: int = result_df.toDF().rdd.getNumPartitions()

glue_context.write_dynamic_frame.from_options(
    frame=result_df,
    connection_type="dynamodb",
    connection_options={
        "dynamodb.output.tableName": table_name,
        "dynamodb.throughput.write.percent": "1.5",
        "dynamodb.output.retry": "30"
    }
)

是否有任何一种机制可以将数据批量写入 DynamoDB？我有超过一百万条记录需要编写。

感谢您的帮助。

Answer 1

@Parsifal 暗示的问题与我的 DynamoDB 表的写入吞吐量有关。一旦将其更改为更合适的值，数据的摄取速度就会更快。