如何在数据仓库中对暂存数据进行建模

Question

我们定期有大约 200 个文件从客户端传入我们的数据仓库。我正在尝试将仓库专门设计为暂存区，我正在犹豫是否要暂存数据库中的数据：-

1. 它会创建大量冗余数据，因为我们无论如何都会将数据存储在维度模型中，并将文件存储在文件系统中
2. 在暂存阶段，除了基本计数和精度检查等之外，我们不会为数据添加价值

我正在考虑为每种文件类型创建外部表，并直接从文件中获取数据并在转换后加载到维度。然而在这些问题上苦苦挣扎：

• 如果文件布局发生变化怎么办，虽然我们计划存储所有文件，但外部表一次只能读取一个布局，旧文件将无法使用。我们确实需要不时读取历史数据，并且我们计划将数据汇总到每个文件类型的单个文件中。
• 我们如何从外部表中进行计数、数据类型、精度检查等基本验证，更重要的是我们如何确定有多少和哪些记录出错 - 理想情况下希望将错误记录存储在不同的结构中李>

感谢您的帮助！

Answer 1

数据复制是数据仓库中必不可少的邪恶。使用您的临时表，但不要在其中保存所有历史数据。截断表，并在批处理运行时加载每个新文件。这样，您就可以轻松访问“最近加载”的一批记录，以调试出现的任何问题以及进行数据质量工作。

在未事先向数据仓库团队发出警告的情况下，不应更改文件布局。如果是，则说明您存在业务通信问题，而不是数据仓库问题。