Gobblin简介

 Gobblin是LinkedIn公司开发的用于在Hadoop环境里统一数据抽取的框架。目前Gobblin可以建立多种pipelines,比如数据质量检查器、源数据管理、开发和其他操作。 

    Gobblin支持多种类型的数据源。例如数据库,Rest Api服务,FTP/SFTP,hdfs文件系统等,Gobblin对其中的数据抽取,转换和加载,包括任务调度,任务分片,错误处理,任务状态管理,数据质量检查,数据发布等。Gobblin对这些不同的数据源统一源数据管理。

   Gobblin是一款集可用性,容错性,质量保证,可扩展性,处理数据模型变化的简单易用的数据抽取工具。

相关文章:

  • 2021-06-16
  • 2021-10-25
  • 2021-09-01
  • 2021-03-27
  • 2021-07-31
  • 2021-10-16
  • 2021-08-11
  • 2021-10-07
猜你喜欢
  • 2021-11-17
  • 2021-05-28
  • 2021-12-19
  • 2022-01-24
  • 2021-08-25
相关资源
相似解决方案