【问题标题】:Difference between Talend Open Studio for Data Integration and Talend Open Studio for Big DataTalend Open Studio for Data Integration 和 Talend Open Studio for Big Data 之间的区别
【发布时间】:2013-10-18 16:17:23
【问题描述】:

我对 Talend 提供的不同产品感到困惑。

Talend Open Studio for Data IntegrationTalend Open Studio for Big Data 似乎是同一个产品,只是默认安装了不同的组件。那正确吗?如果我使用 Talend Open Studio 进行数据集成并从 Talend Exchange 下载我需要的组件(例如用于 Google BigQuery),它实际上是同一个产品吗?

【问题讨论】:

    标签: business-intelligence talend


    【解决方案1】:

    除了不同的连接器之外,它们在一个关键点上有所不同,即它们生成的代码库。

    Talend Open Studio for Data Integration 生成 Java 代码,而 Talend Open Studio for Big Data 可以生成 map reduce 代码以及 Java 代码。

    请参阅here,了解 Talend 的大数据产品示例,展示如何生成 map reduce 代码作业。

    【讨论】:

    • +1;然而,另一个很大的区别是 TOS-BD 中缺少元数据存储库。这是因为后者是在 Apache Common License 下发布的,而 Talend Open Studio for Data Integration 是在 LGPL 下发布的。在 TOS for DI 中找到的元数据存储库与 Apache 许可证不兼容,因此从 4.1 版开始将其删除
    【解决方案2】:

    这不仅仅是关于组件:

    发件人:http://www.talend.com/products/data-integration

    功能:Job Designer、Job Designer、450 多个连接器、版本控制

    发件人:http://www.talend.com/products/big-data

    功能:作业设计器、HDFS 组件、HBase、HCatalog、Hive、 Pig、Sqoop、Hadoop 作业调度程序、NoSQL 支持

    我不确定,但我认为在 Talend 的交换网站上找不到官方组件。在那里你只会找到社区贡献的组件。

    【讨论】:

    • 不,它们以不同的方式生成代码。 TOS 不能生成 M/R 代码,而 BD 可以。
    【解决方案3】:

    在 Talend Open Studio for Data Integration 中您可以创建标准作业(意味着您可以直接使用 DI 组件并在后端生成 java 代码)。

    但是 Talend Open Studio for Big Data 您可以选择创建 map/reduce 作业(意味着将在背面生成 map/reduce 代码 [实际上是 java map/reduce] 代码)。在 map/reduce 作业中,所有组件都在 talend 服务器中运行 map 和 reduce 任务。就像在 tmap 组件中一样,当组件执行时,您可以在组件下方看到 map 和 reduce 任务栏。

    【讨论】:

      【解决方案4】:

      Talend 不区分连接器。Spark 是 TOS 和许可版本之间的区别。

      Open Studio 不支持批处理和实时 Spark。

      【讨论】:

        【解决方案5】:

        Talend 针对不同的需求提供不同的 Open Studio 产品。

        Talend OS for Data Integration - 满足数据集成/ETL 要求。这不会有大数据特定的组件。

        Talend OS for Big Data - 满足大数据需求。您可以连接到 Hadoop、Hive 和其他大数据组件。除了生成 Java 代码,它还可以生成 map reduce 代码。

        您还拥有适用于 ESB、MDM 和数据质量的 Talend OS,可满足不同的要求。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 2023-01-31
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2016-06-14
          • 1970-01-01
          相关资源
          最近更新 更多