如何拥有一个包含数千个表的数据库，这些表具有不同数量的列，这些列在 Django / SQLAlchemy ORM 中都是同一类？

Question

我拥有数千家不同公司的财务报表数据。有些公司只有 2019 年的数据，但有些公司有长达十年的数据。每个公司的财务报表都有自己的表格，其结构如下，其中的列以粗体显示：

lineitem---2019---2018---2017
2............1000....800......600
3206...........700....300....-200
56........50....100........100
200............1200......90......700

这种结构比 lineitem-year-amount 等平面文件结构更受欢迎，因为一个查询为我提供了财务报表表输出的正确结构。 lineitem 是一个外键，链接到具有超过 10,000 条记录的映射表的主键。例如，3206 可以表示“债转贷机构”。我还有一个 companyIndex 表，其中包含公司 ID、公司名称和表名。我能够将数据导入数据库并在 python 中使用 sqlite3 进行查询，但高级查询有时会有些挑战，更不用说它可能需要很多时间并且可读性不强。我喜欢在 Django 或 SQLAlchemy 中使用 ORM 的潜力。 SQLAlchemy 中的 ORM 似乎希望我知道要创建的表的名称，并希望我知道要创建多少列，但我不知道，因为我有一个脚本可以解析 csv 中的数据转储包括公司 ID 和运营年数的财务报表数据。此外，一年后，我将不得不用另外一年的数据更新表格。

我一直在观看和阅读 Django 和 SQLAlchemy 教程，但由于这个初始问题是我项目成功的先决条件，因此无法在实践中尝试太多。我用谷歌搜索和搜索，并检查了 stackoverflow 的解决方案，但没有找到任何已解决的问题（这真的很令人惊讶，因为我总是在这里找到解决方案）。

那么，鉴于我打算让它适合的结构，我如何使用 Django/SQLAlchemy 插入数据？如何让选定的表（基于公司 ID 或公司名称）成为 ORM 中的一个对象，就像任何其他允许我在我想要的粒度级别上选择我想要的数据的对象一样？ 理想情况下，在 Django 中有一个解决方案，但由于我没有找到任何我怀疑没有的东西，或者我构建数据库的方式是疯狂的。

Answer 1

您找不到解决方案，因为没有。 您正在将输入数据格式与表架构混合。

您建立一个初始数据库表架构，然后将数据作为行添加到表中。 除非您决定必须更改架构以支持应用程序中的不同（通常是附加功能）功能，否则您永远不会再次接触数据库表列，因为例如，在应用程序生命周期的某个时刻，数据需要新属性。不是因为有更多数据，而是简单地转换为一个或多个表中的新数据行。

因此，首先您要根据将从某处读取或导入的数据记录来决定数据库表的适当架构。

然后你确保数据库被规范化直到第三范式。 你真的必须了解this。没读过，只是略读，但我认为它是正确的。这是您无法逃避的基本数据库知识。在正确地学习它并通过练习后，它会成为第二天性，您会在不知不觉中应用这些规则。

然后你的问题就会消失，你可以用任何你想使用的关系数据库或 ORM 做你想做的事。

唯一剩下的问题是输入数据需要验证，有时它没有以正确的形式提供给我们。因此，在将适当的数据行写入现有表之前，程序或初始导入过程或进一步的数据导入操作可能需要对数据进行一些处理。