【问题标题】:How to convert a mysql table in json format for simpledb如何为simpledb转换json格式的mysql表
【发布时间】:2012-04-27 03:52:26
【问题描述】:

以下是我通常会插入 MySQL 的示例记录。然后我可以使用 SQL 执行常规类型的查询。请注意,我将以 5 分钟为间隔设置日期时间。

datetime          account_id country  zip   count 
2012-04-27 03:40   1234        69    91845   234
2012-04-27 03:45   3432        43    91813   212

我将使用 simpledb 和 python boto api。

鉴于它是一个键值数据存储,其中值可以存储为字典/json 类型的对象,那么存储数据以便我可以查询的正确结构是什么?例如。按国家/地区选择总和(计数)组。

【问题讨论】:

  • 我没有得到你的要求。我想您想将数据从 MySql 上传到 Amazon SimpleDB 并在 Amazon SimpleDB 上查询您的数据。如果是这样,那么您可以直接从 MySql 将数据上传到 Amazon SimpleDB 而无需 JSON。您可以从结果集中获取每个属性的值,再次针对您想要上传其结果的查询。

标签: python json amazon-simpledb


【解决方案1】:

SimpleDB 只真正支持 count(*) 聚合,不支持 sum。

您要么 1) 需要进行一些 hadoop 处理来聚合结果并返回结果,要么 2) 在单独的文档中存储和增加聚合(我通常将逻辑添加到我的存储库附近(如在更新中)方法),或者对于需要更快更新/获取例程的文档,向 Amazon SQS 添加一条消息,然后在后台服务中重新计算这些聚合。

说实话 - 我没有从 SimpleDB 报告太多,编写一个定期更新关系数据库中的数据的同步脚本要容易得多,然后我可以从中报告,而不必担心与前端的资源争用申请。

谢谢,

哈尔

【讨论】:

    猜你喜欢
    • 2019-08-09
    • 2021-12-17
    • 2011-11-24
    • 2012-06-20
    • 1970-01-01
    • 2020-08-30
    • 2013-11-07
    • 2018-03-07
    • 1970-01-01
    相关资源
    最近更新 更多