【发布时间】：2019-12-08 15:58:43
【问题描述】：
我正在处理 IOT 数据，我每 1 秒从每台设备获取数据。这是通过 IOT 中心来的，然后在 Azure 函数中进行处理，最后存储在 Cosmos DB 中。但是这些数据正在增长到大规模，所以我想在 cosmos 中设置 TTL 5 天，并将数据归档到 ADLS 中，可以定期完成，一天两次或一天一次。但是我不知道是否应该编写一个 spark 作业来进行此传输或使用任何其他强大且优化的方法？我想要一些关于我可以用于这个用例的不同方法的建议。
【问题讨论】：
-
为什么不使用表存储？它很便宜。如果你在做事件溯源，cosmosdb 很棒，但对你来说可能有点过分了
标签： apache-spark bigdata azure-cosmosdb data-migration azure-data-factory-2