使用 C#、VBA 和 Python 的开发人员希望将数据发送到数据库答案

【问题标题】：Developers with C# , VBA, and Python want to send the data into database使用 C#、VBA 和 Python 的开发人员希望将数据发送到数据库
【发布时间】：2019-05-14 19:50:09
【问题描述】：

我有一个问题，我很困惑。我刚毕业，开始在一家公司工作，文本文件中有很多旧数据，所以我使用 Python 组织了所有这些数据，并生成了一个 Excel 文件。所以情况很好。

问题，对于来自不同开发人员的传感器的新传入数据

大多数使用 VB 脚本的人，人们使用定界 (, 和 |) 测试数据并将数据保存在文本文件中。
其他一些用 C# 开发项目的人，这些人得到了一些不同类型的具有不同分隔符（: 和 ,）的文本数据

我必须建立数据库的问题，我怎样才能将所有这些开发人员数据自动导入数据库，对于这些文本数据，我已经为其创建了列名和结构。

我是否需要为所有这些开发人员开发单独的界面，或者是否有任何我必须关注的通用界面，或者我仍然缺乏从哪里开始。

我希望外面的人理解我的情况。

最好的问候维诺德

【问题讨论】：

欢迎，为了改善您的 SO 体验，请阅读 how to ask 和 On Topic question，以及 Question Check list 和 the perfect question 以及如何创建 Minimal, Complete and Verifiable Example 和 TAKE THE TOUR
这真的不是属于 SO 的那种问题
一个为所有开发人员定义一个通用的分隔符，或者两个您创建一个表格，每个开发人员都可以使用自己的分隔符，或者三个您使用 XML，您可以使用 XML 模式进行验证。
@RaymondNijland 所有开发人员都使用自己的分隔符。对于每种情况，我都开发了一个数据结构。
使用 MySQL 还是使用 SQL Server？您标记了两者，尚不清楚您实际使用的是哪个系统。无论哪种方式，您都可以轻松地使用谷歌搜索如何使用其中任何一种导入文本文件，这真的很常见。你会得到很多结果。我认为没有特别的理由在这里重复所有这些信息。如果您尝试过导入过程并陷入某个特定问题，那将是另一回事。

标签： sql-server database vba ssis generic-interface

【解决方案1】：

由于您尝试从不同来源获取数据，并且您使用的是 SQL Server，因此您可以查看 SQL Server Integration Services (SSIS)。您基本上会创建 SSIS 包，每个传入数据源一个，并将数据传输到一个同构数据库中。

【讨论】：

【解决方案2】：

这些类型的实现和设计模式真的取决于你的公司和你工作的开发环境。

至于选择正确的数据库，这还取决于数据类型、速度、数量以及贵公司希望使用该数据回答的常见问题。

一些非常通用的准则：

示意图数据库不同于“NoSQL”数据库
在文本中搜索与搜索更简单的原始类型不同，您必须知道自己将要做什么！
如果可以的话，将 VB 脚本和 C# 文本文件转换为流行的数据结构文件（即 JSON、CSV（逗号分隔的文本文件相同））可能有助于您将数据存储在几乎任何数据库中。
为每个数据提供者实现特定接口没有对错之分，这取决于所涉及的替代方案和您的编码风格
与他人协商并准备好案例研究！

希望对你有帮助

【讨论】：

并不是每个 Schematic 数据库都与“NoSQL”数据库不同。例如，MySQL 5.7 和 8.0 是one中的 SQL 和 NoSQL 数据库
感谢您的回答，是的，这些是逗号分隔的文本文件，来自不同的开发人员，因此对于每个开发人员，我如何开发界面。
这些文件是如何传输给您的？

【解决方案3】：

您应该考虑使用 Excel 的 Power Query 工具。您可以从多个位置获取几乎任何文件类型（包括文本文件），轻松清理和转换数据（您可以随意区分），并且存储基本上是无限的，而不是常规的 Excel 电子表格，最大约为 140 万行。

【讨论】：

【解决方案4】：

我不知道你们公司的情况，但是 PDI（Pentaho 数据集成工具，很适合数据转换。社区版是免费的！

但是，如果您将它们生成到 excel 文件中，如果您的数据相对较小，Power Query 可能是该项目的更好工具。

【讨论】：