【问题标题】:Using REST webservices for ETL / Datawarehousing将 REST Web 服务用于 ETL/数据仓库
【发布时间】:2010-07-15 21:39:38
【问题描述】:

是否有人使用基于 REST 的方法进行 ETL/数据仓库操作?换句话说,通过 REST Web 服务调用来调用 ETL 和 OLAP/数据库刷新作业:

例如PUT http://company.com/cube/123523(用新数据刷新特定的 OLAP 多维数据集) 或 POST http://company.com/view/patients/123123(为患者创建新的数据库视图)

在我看来,REST 是一种非常适合和简洁的架构风格,用于对此类每月任务进行建模......

【问题讨论】:

    标签: rest etl


    【解决方案1】:

    ETL 就是要非常非常快速地将行插入到数据库中(或者有时,当数据有点冒险并需要自动清理时,非常非常灵活)。

    REST 意味着使用所有 HTTP,因此使用所有动词,通常是 unicode 的生活方式。

    HTTP 作为一种协议并不是很快。它不是二进制的(尽管我想你可以有二进制有效负载)

    ETL 问题实际上是在寻找依赖于数据源的解决方案。您的数据源是否具有本机二进制协议?使用它,它通常是最快的。

    总而言之,有些数据源被锁定在端口 80 后面。微软的 ADO.NET 数据服务 (Astoria) 等公司已经在制定基于 REST 的数据访问 API 的细节。如果它是高性能的,我会感到惊讶,但它肯定看起来非常灵活。

    【讨论】:

    • 感谢您的回复,我实际上是从调用那些 ETL 任务的角度来看待 REST,而不是实现它们。 ETL 流程是 PL/SQL 脚本和包,我的方法是通过 REST 调用实现执行 ETL 脚本序列的工作流……有产品已经这样做了吗?
    • 在这种情况下,您启动 ETL 任务的事实是无关紧要的。如果您要购买 ETL 工具的第 3 方 UI,那么我不确定为什么它的实现方式很重要。 REST 通常很有趣,因为与 COM、COM+、CORBA 甚至 Web 服务相比,它是相当简单的 API,因此针对 REST API 进行编程是一个小得多的项目。
    • 我会考虑以下链接。我不会在这里重复内容,因为这会破坏网络的目的:blog.apigee.com/detail/…
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-12-07
    • 2022-08-24
    • 1970-01-01
    • 1970-01-01
    • 2018-09-01
    相关资源
    最近更新 更多