lakefs 为了更好的支持hive 以及glue单独开发了metadata 同步的命令(基于metadata 的thrift rpc 协议)

主要解决的问题

比如我们在main分支创建了table,然后我们开发了dev 分支,如果基于hive 的metadata 进行数据查询就有问题了
此时就可以使用lakefs 提供的copy 命令了

参考配置

lakectl.yaml

 
metastore:
  type: hive
  hive:
    uri: hive-metastore:9083

目前提供的命令

copy,diff,create-symlink (glue支持)

推荐模型

lakefs 对于每个分支创建一个schema,这样的好处是对于同一个表支持不同的schema,比如:
examle_branch 分支,同时创建一个example_branch 的schema,核心还是为了规避lakefs 处理数据合并冲突的问题

参考资料

https://docs.lakefs.io/integrations/glue_hive_metastore.html

相关文章:

  • 2021-08-19
  • 2021-06-19
  • 2021-09-30
  • 2021-08-12
  • 2021-10-13
  • 2022-01-25
  • 2022-01-16
猜你喜欢
  • 2021-10-12
  • 2021-11-18
  • 2021-07-20
  • 2021-12-23
  • 2022-01-15
  • 2021-10-29
  • 2021-08-03
相关资源
相似解决方案