【问题标题】:SQL, MongoDB Architectural question, how to handle complicated pageSQL,MongoDB架构问题,如何处理复杂的页面
【发布时间】:2021-03-22 15:16:43
【问题描述】:

目前我已经在 postgresql 中实现了以下关系模式

将来,我将通过 job 实体实现分片,因此对于每个 job,我将拥有单独的数据库。这将显着提高大数据的性能。

但是显示与用户 操作相关的列表的页面有问题。

所以查询应该通过每个数据库(为每个作业分开)来查询所有结果,应用页面所需的过滤器/搜索/排序/分页,并返回关系树中几乎所有实体的信息.这在目前看来是一项不可能完成的任务。

目前,我的想法是为此页面使用非关系型数据库 (MongoDB) 来复制需要显示的数据,这将导致数据同步的大量工作,我不确定mongo 可以处理这样的任务(我希望非常频繁的更新,因为它需要存储可能存在于我的关系树中的每个表的信息)。也许以某种方式修改数据存储结构是值得的,或者有另一个更简单更好的解决方案(无需数据复制)。很高兴听到任何建议。

UPD:

暂时停止使用 mongo 解决方案

【问题讨论】:

  • 我认为“sql”或“Postgres”都不适合 MongoDB 架构问题。它不是关系数据库。
  • 目前,我将数据存储在 PostgreSQL(1,2 图片)中,而 MongoDB 是对我不确定的问题的建议。所以我认为这个问题与两者有关。

标签: sql mongodb postgresql architecture


【解决方案1】:

如果您不需要实时数据,您可以运行例行作业(例如每晚)来创建聚合表。可以逐步填充它以减少每次运行的工作量。根据工作负载,可以更频繁地(每 X 小时)运行一次。

此策略通常用于处理报表基础数据,即您不想一遍又一遍地运行繁重的查询,因此您“预先生成”了您想要快速访问的数据。

【讨论】:

    猜你喜欢
    • 2017-10-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-11-06
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多