我最近发现直接在presto里面插入partition数据，如果原来有数据则不会替换，会产生冗余数据。
但是目前presto又不支持insert overwrite，所以我们现在的做法是在pipeline里面增加一个操作删除即将要写入的partition，就像下面这样
delete_partition --> load_data
目前来看的话，貌似没什么好的办法
相关文章：
相似解决方案
热门标签
我最近发现直接在presto里面插入partition数据，如果原来有数据则不会替换，会产生冗余数据。
但是目前presto又不支持insert overwrite，所以我们现在的做法是在pipeline里面增加一个操作删除即将要写入的partition，就像下面这样
delete_partition --> load_data
目前来看的话，貌似没什么好的办法
相关文章：