【问题标题】:Ressource usage when storing a vast stream of data into a database将大量数据流存储到数据库中时的资源使用情况
【发布时间】:2009-03-10 09:58:20
【问题描述】:

首先,我对数据库不太了解,所以如果这是一个愚蠢的问题,请原谅我。

我的公司正在通过 TCP 接收大量位置数据。每个数据包由几个浮点数和一个时间戳组成。我们的任务是将数据存储到在现代 PC 上运行的数据库 (MS SQL Server 2005) 中。

每个 blob 大约有 20 个字节。最多有 1000 个发件人,每个发件人每秒发送大约 25 个包裹。

一台普通的 PC 是否能够处理如此大量的数据?如果不是,如何处理这个问题?我们是否应该为每个发件人设置一台专用 PC?

【问题讨论】:

    标签: database performance


    【解决方案1】:

    所以要了解您的要求:
    您希望每秒最多插入 25 000 次
    您希望存储最多 20 个字节 * 1000 个发件人 * 25 个数据包 * 60 秒 * 60 分钟 * 24 小时 = 43.2 GB / 天。

    两件事:

    • 这是一个非常大量的数据。
    • 普通 PC 无法处理此问题,您需要功能强大的服务器和非常大的磁盘阵列来处理此问题。
    • 您打算如何处理您的数据?如果您想处理它,您可能需要查看数据仓库等。

    最后,这不是您的专业领域,对于这种规模的项目,您需要一位专家。
    找一个,即使是短期咨询。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-04-28
      • 2019-08-29
      • 1970-01-01
      • 2011-07-25
      • 1970-01-01
      • 2014-01-04
      相关资源
      最近更新 更多