【发布时间】:2017-02-16 16:39:36
【问题描述】:
当我们使用任何 ETL 工具通过 Web 服务下载数据时,我们会遇到以下问题。
- 当模块中有更多字段(例如 400)时,使用 Web 服务 API 提取数据变得越来越困难
- 它是在xml中提取的,所以我们需要解析它
有没有可以调用的脚本来下载txt或csv格式的数据?有没有批量提取方法一次提取400个字段之类的数据?
【问题讨论】:
当我们使用任何 ETL 工具通过 Web 服务下载数据时,我们会遇到以下问题。
有没有可以调用的脚本来下载txt或csv格式的数据?有没有批量提取方法一次提取400个字段之类的数据?
【问题讨论】:
有没有可以调用的脚本来下载txt或csv格式的数据?
有没有批量提取方法一次提取400个字段之类的数据?
简短的回答是否定的。
但是你有两个选择:
选项 1。您可以编写代码,通过 Archer API 逐页提取数据,并将此数据转换为您的 ETL 工具可以集成的格式。最初,Archer 将按照您的描述以 XML 格式返回数据,但这可以通过您的自定义代码进行更改。
注意 - 例如 Informatica(ETL 工具)允许您将 Java 和 C# 代码嵌入到 ETL 工作流程中,因此您可以提取所有ETL 工具立即获取您需要的数据。配置(Archer 中的报告 ID)可以存储在文件中,因此从长远来看,该解决方案应该易于支持。
选项 2:如果您对 Archer 数据库具有读取权限,则可以创建一条 SQL 语句,直接从数据库中提取数据。这是一个复杂的解决方案,因为对于要提取的每个字段,您必须根据字段类型“加入”多个表。只需从一个文本字段中提取数据,您就必须进行 5 次联接。值列表、交叉引用和相关记录的复杂性更高。
您还必须记住,每次更改字段类型的字段名称时都必须更新您的 SQL 语句。所以更难支持。
Archer 到 ETL,以及 Archer 到 BI 工具的集成是一个有趣的话题。
祝你好运!
【讨论】: