【发布时间】:2020-05-05 22:42:07
【问题描述】:
我们可以在 Apache Pinot 集群之外创建分段。那挺好的。但我不明白它是如何将分段从深度存储上传到离线服务器的。例如,
我将段写入 Hdfs。然后我调用段 tar 推送作业。如果我没有理解错,segmenttarpushjob 从深度存储(s3)下载创建的段,然后通过 rest api 将段上传到控制器,控制器将段发送到离线服务器。
在向控制器发送段时,这个过程不会造成瓶颈吗?如果离线服务器直接从深存储下载段会发生什么?
【问题讨论】: