【发布时间】：2014-09-02 02:56:40
【问题描述】：
我是数据库和编程的新手，现在应该创建一个可以存储大量数据的数据库。对我来说关键问题是我需要每天更新数据库并将 150 组数据添加到 60 个不同的表中。数据集都采用不同的格式（.csv、.row、.sta...）。
我希望能够创建一个可以每天自动导入数据集并更新表格的 GUI。到目前为止，我发现了很多关于从数据库导出数据的信息，但关于导入数据的信息却不多。
有人有指针吗？
【问题讨论】：
【发布时间】：2014-09-02 02:56:40
【问题描述】：
您没有给出“最佳”的合理定义，您的标准是什么？成本是否是一个主要问题（如果您正在考虑使用 Matlab，我猜不是，但也许）？ UI 是专为您设计的，还是让最终用户对它松懈？如果是最终用户，他们有多聪明/可靠？当您说手动导入时，您是指您偶尔手动启动的大部分自动过程，还是它必须提出很多问题并有许多不同的组合？
我每天从不同来源导入大量数据，我必须手动重新启动流程，因为用户进行了更改并需要立即看到它的反映，但我定义的来源集不会经常更改.我在 Microsoft 的 SQL Server 中使用 SSIS（SQL Server 集成服务）工具时运气不错。它当然可以处理大量数据。
基本功能是您编写一个“包”，其中包含您的源是什么、如何配置的定义（即，如果您从文本文件导入，请告诉它名称和路径，它是固定字段还是分隔符，什么是每个字段的分隔符或宽度、要跳过的字段、要跳过的行数等）以及放置位置（数据库名称和表、映射字段等）。然后我在 SQL 代理中设置时间表（我的都是一夜之间），从那里开始都是自动的，除非有什么变化，在这种情况下你编辑你的包来解释变化。
我也可以在任何时候手动启动任何包，而且非常轻松。
而且进口来源的范围令人印象深刻。我从 CSV 文件、Lotus Notes 和 DB2 中提取数据，每晚都是自动的。它也是一个相当图形化的“构建器”，这对于铁杆编码员来说是令人沮丧的，但如果您是编程新手，它可能比更面向代码或脚本的方法更容易。
祝你好运，欢迎来到黑暗面。我们有 cookie。
【讨论】：
-
谢谢罗伯特。您所描述的功能听起来正是我所需要的。我现在的问题是开始并找出最适合使用的软件。找到一个免费软件也很棒。由于程序已经购买，我只考虑使用 Matlab。
-
谢谢罗伯特。您所描述的功能听起来正是我所需要的。有些人对编程一无所知，只想提取数据。还有其他用户编程不错，不是很好，他们会帮助导入数据。每天将有大约 10 种不同的文件格式可供导入，所以如果我可以为每种类型编写一个包，那将是完美的。我现在的主要问题是开始并找出最适合使用的软件，免费会很棒，如果不是，我们将购买许可证。请提示：“我们有饼干”？ ;-)
-
SSIS 解决方案非常棒，除了这里有一个问题 - 最终用户。如果你自己做这很好，但要给你的用户并让他们去做并不容易。你说你有 Matlab，你还有其他可用的编程语言吗？你有一个“真正的”数据库程序可用吗？真正的意思是 MS-SQL、MySQL、PostGres、DB2 等，而不是 Access 或其他“个人”数据库程序。 “我们有 cookie”是个玩笑，通过将数据库编程称为“黑暗面”我暗示它是邪恶的，但有 cookie 很好，所以不是很邪恶。
-
好的，我咨询了我们的采购人员，我的开发环境的许可大约是 1000 美元，如果这有助于您正确看待它的话。我查看了 MatLab 文档，从没有帐户的情况下可以看到它确实可以处理从文件读取数据并将其写入数据库，尽管我不太了解它是否容易。我不与他们合作，但我知道数据库和编程语言都有高质量的免费解决方案，如果你还没有数据库，也许你可以看看 PostGreSQL 和 MySQL。