【问题标题】:Truncate DynamoDb or rewrite data via Data Pipeline通过数据管道截断 DynamoDb 或重写数据
【发布时间】:2017-02-17 16:04:01
【问题描述】:

可以通过数据管道转储 DynamoDb,也可以在 DynamoDb 中导入数据。导入进展顺利,但数据始终附加到 DynamoDb 中已存在的数据。

目前,我找到了扫描 DynamoDb 并逐个删除项目或通过 Batch 删除项目的工作示例。但无论如何,对于大量数据来说,它并不是一个好的变体。

也可以完全删除表并创建它。但是随着那个变体索引将会丢失。

因此,最好的方法是通过 Data Pipeline 导入覆盖 DynamoDb 数据或以某种方式截断。有可能吗?如果可以,怎么可能?

【问题讨论】:

标签: amazon-dynamodb truncate amazon-data-pipeline data-pipeline


【解决方案1】:

截断表功能在 DynamoDB 中不可用,因此请考虑删除表并重新创建,

原因:DynamoDB 根据您使用的ReadCapacityUnits 和WriteCapacityUnits 向您收费。如果您使用BatchWriteItem 函数删除所有项目,它将使用WriteCapacityUnits。所以,要保存这些WriteCapacityUnits 用于删除项目,最好截断表并重新创建它。

删除和创建 DynamoDB 表的步骤如下:

Delete Table via AWS CLI:

aws dynamodb delete-table --table-name *tableName*

Delete Table via AmazonDynamoDB API:

样品申请

POST / HTTP/1.1
Host: dynamodb.<region>.<domain>;
Accept-Encoding: identity
Content-Length: <PayloadSizeBytes>     
User-Agent: <UserAgentString>
Content-Type: application/x-amz-json-1.0
Authorization: AWS4-HMAC-SHA256 Credential=<Credential>, SignedHeaders=<Headers>, Signature=<Signature>
X-Amz-Date: <Date> 
X-Amz-Target: DynamoDB_20120810.DeleteTable 

{
    "TableName": "Reply"
}

Creating DynamoDB Table via AmazonDynamoDB API:

POST / HTTP/1.1
Host: dynamodb.<region>.<domain>;
Accept-Encoding: identity
Content-Length: <PayloadSizeBytes>     
User-Agent: <UserAgentString>
Content-Type: application/x-amz-json-1.0
Authorization: AWS4-HMAC-SHA256 Credential=<Credential>, SignedHeaders=<Headers>, Signature=<Signature>
X-Amz-Date: <Date> 
X-Amz-Target: DynamoDB_20120810.CreateTable 

{
    "AttributeDefinitions": [
        {
            "AttributeName": "ForumName",
            "AttributeType": "S"
        },
        {
            "AttributeName": "Subject",
            "AttributeType": "S"
        },
        {
            "AttributeName": "LastPostDateTime",
            "AttributeType": "S"
        }
    ],
    "TableName": "Thread",
    "KeySchema": [
        {
            "AttributeName": "ForumName",
            "KeyType": "HASH"
        },
        {
            "AttributeName": "Subject",
            "KeyType": "RANGE"
        }
    ],
    "LocalSecondaryIndexes": [
        {
            "IndexName": "LastPostIndex",
            "KeySchema": [
                {
                    "AttributeName": "ForumName",
                    "KeyType": "HASH"
                },
                {
                    "AttributeName": "LastPostDateTime",
                    "KeyType": "RANGE"
                }
            ],
            "Projection": {
                "ProjectionType": "KEYS_ONLY"
            }
        }
    ],
    "ProvisionedThroughput": {
        "ReadCapacityUnits": 5,
        "WriteCapacityUnits": 5
    }
}

总结:删除表格并重新创建将是最好的解决方案。

【讨论】:

  • 谢谢。所以 - 是的。删除然后创建方式是目前最好的方式。在我通过 cli 命令创建新表之前,我遇到了索引问题。但现在修好了,一切都很好。
  • 如果您对 dynamodb 表进行了分区,请不要遵循此建议。重新分区可能会更昂贵。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多