【问题标题】:AWS DMS Migration S3 to dynamoDB of field type DATETIME showing wrong valueAWS DMS 迁移 S3 到字段类型 DATETIME 的 dynamoDB 显示错误值
【发布时间】:2020-10-26 22:39:18
【问题描述】:

AWS DMS 迁移 S3 到字段类型 DATETIME 的 DynamoDB 显示错误值。 嘿所以基本上我尝试将 S3 中的测试文件迁移到 DynamoDB。

我已经为迁移创建了一个具有相关规则 vpc 的 EC2 实例, 源端点是 s3,目标端点是 DyanmoDB

这是我尝试从 s3 迁移的 CSV 文件:

11b88984-5219-4293-a9b0-c1490acfac4c,Todo,2020-10-25T15:39:37.041Z,hello,updatedA,2020-10-25T15:40:37.041Z
34f50253-a5fb-46ef-b25b-bd579eedf974,Todo,2020-10-25T14:49:26.059Z,hellos,updatedB,2020-10-25T14:50:26.059Z
4a48ff69-2419-4a27-bda9-029a0d4f8985,Todo,2020-10-25T14:51:02.531Z,helloss,updatedC,2020-10-25T14:52:02.531Z
64b2edbe-cdb9-4dbd-9434-85ba30188294,Todo,2020-10-25T14:53:20.638Z,hellosss,updatedD,2020-10-25T14:55:20.638Z

4 个字段,6 列。

这是 S3 源端点上的表方案:

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "Todo-vrcxborfrrb5dbwohv6u2mgo2q-dev",
            "TablePath": "dataMigration/Todo-vrcxborfrrb5dbwohv6u2mgo2q-dev/",
            "TableOwner": "dataMigration",
            "TableColumns": [
                {
                    "ColumnName": "id",
                    "ColumnType": "String",
                    "ColumnLength": "50",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "__typename",
                    "ColumnType": "String",
                    "ColumnLength": "50"
                },
                {
                    "ColumnName": "createdAt",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "description",
                    "ColumnType": "String",
                    "ColumnLength": "50"
                },
                {
                    "ColumnName": "name",
                    "ColumnType": "String",
                    "ColumnLength": "50"
                },
                {
                    "ColumnName": "updatedAt",
                    "ColumnType": "DATETIME"
                }
            ],
            "TableColumnsTotal": "6"
        }
    ]
}

这是我在任务完成时收到的决赛桌照片,

您将看到 updatedAt 字段显示错误的值,这取决于他从 csv 输入的内容,并且 createdAt 正在工作。 我尝试重新创建所有都没有用。

希望有人可以提供帮助!谢谢!

【问题讨论】:

  • 它似乎在每行的最后一列添加了一个字符串引号,我在位置之间切换...日期现在似乎没问题,但最后一个字段添加了 qoutes。
  • 你自己的问题解决了吗?
  • nope :( 但似乎最后一个字段有问题。@JDD 你可能有想法吗?

标签: amazon-web-services amazon-s3 amazon-dynamodb aws-dms


【解决方案1】:

使用 DMS 时,亚马逊有配置。 您需要将行分隔设置为:\r\n 而不是 \n

默认是:\n,但是我在做csv时使用的是windows,并且windows默认的向下行是:\r\n

所以这应该可以解决它:) 它应该是我的问题。

【讨论】:

    猜你喜欢
    • 2021-04-06
    • 2021-06-17
    • 2021-07-06
    • 1970-01-01
    • 1970-01-01
    • 2022-11-25
    • 2017-09-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多