【问题标题】:Best way to store large demographic datasets存储大型人口数据集的最佳方式
【发布时间】:2013-05-29 04:02:14
【问题描述】:

我需要在数据库中存储我为研究而收集的大量人口统计数据。我正在尝试找出存储此类数据的良好解决方案:

http://factfinder2.census.gov/faces/tableservices/jsf/pages/productview.xhtml?pid=ACS_11_3YR_S0201&prodType=table

我的目标是以这样一种方式存储所有这些数据,以便我可以在需要时检索部分数据。我有兴趣检索的数据部分是数据的“性别和年龄”部分或“按类型划分的家庭”部分。

我是设计数据库表等的新手。有人可以在这方面指导我吗?

澄清:

  • 我的问题不是数据量很大。我遇到的问题是我收集的数据非常多样化。我想知道我是否应该将每一个分散在不同的表格中。我应该为“性别和年龄”类别准备一张表格,而为“按类型划分的家庭”类别准备一张表格吗?
  • 另一个问题是元数据信息。我需要知道对这个数据集的来源等进行分类的信息。
  • 此时数据点本身可能不会达到数百万。我可能需要在州一级存储这些信息。我的首要任务是数据需要易于检索。像上面链接中的那样跨多个表存储来自一页的信息是将数据重新组合在一起非常棘手。还要记住进入哪个表的内容并不容易。

还有其他人必须像这样存储数据吗?哪种解决方案最适合您?

【问题讨论】:

    标签: database database-design rdbms olap large-data


    【解决方案1】:

    尽管您的问题相当模糊,但我猜“大”是指几百万行。如果您的数据大小仅限于这些数字,您可以简单地设计一个数据库并转储数据。由于您还为此目的标记了 OLAP,因此您可能对创建 OLAP 多维数据集或类似的东西感兴趣。 您必须收集数据,可能是平面 txt 文件、CSV 文件、excel 文件或任何类似文件。 您还可以使用 bcp 导出/导入批量数据。请参考此link。 此外,您可以将这些数据转储到 SQL Sever(或您喜欢的任何其他服务器)。创建表,然后如果您想创建 OLAP 多维数据集,请创建维度表和事实表。创建一个 OLAP 多维数据集。每当您需要与兴趣点相关的数据时,请浏览您的多维数据集。 如果您只对数据检索感兴趣,那么您可以轻松查询您的关系数据库。 我希望这对编辑您的问题有所帮助。

    【讨论】:

    • “几百万行”并不大。不是根据我所知道的任何衡量标准。几十亿行很大。
    • 是的,如果它大约有十亿行,您仍然可以使用 SQL Server。但是,您需要考虑更多的事情,例如可扩展性、可恢复性、可靠性和可用性。我认为以下post 很有帮助。
    • 你没有抓住重点。我很清楚 SQL Server 的功能。你的帖子说“我猜'大',你的意思是几百万行。”。几百万行不算什么。这太平常了,几乎不值得一提。
    • @MitchWheat 感谢您回答我的问题。我已经编辑了我的问题以澄清一些观点。我的问题不是有数十亿个数据点。我有很多不同的数据,每个数据都有少量数据(约 10000 个数据点)。
    • @Mitch Wheat 很抱歉造成混乱。现在问题很清楚了,我的答案离解决方案还很远。我应该删除我的答案吗?
    猜你喜欢
    • 2012-09-24
    • 2011-11-26
    • 1970-01-01
    • 2016-06-27
    • 1970-01-01
    • 2023-04-08
    • 2012-10-18
    • 2011-10-29
    • 1970-01-01
    相关资源
    最近更新 更多