Random

Random

• 算法介绍
• SampleBuffer的生成
• SampleBuffer的合并
• 算法流程
• 示例

本博客将介绍Quantile估算中的一种算法：Random，该算法同样源于Manku等人的Approximate medians and other quantiles in one pass and with limited memory一文的思想。

算法介绍

SampleBuffer的生成

该算法需要维持一个$SampleBuffer$SampleBuffer的数据结构，该数据结构共有$b$b个$buffer$buffer：$B_{1}$B1​、$B_{2}$B2​、…、$B_{b}$Bb​，每个$buffer$buffer的大小为$k$k，每个$buffer$buffer还会对应其所处的$Level$Level，其计算公式为：
$L=L(n,h)=max(0,\lceil log\frac{n}{k \times 2^{h-1}} \rceil )\tag{1}$L=L(n,h)=max(0,⌈logk×2h−1n​⌉)(1)
其中：$n$n是已经处理过的元素个数，$L(0,h)=0$L(0,h)=0。
对于某个$buffer$buffer：$B_i^L$BiL​的生成：从输入的$k*2^L$k∗2L个元素中选择$k$k个元素。

SampleBuffer的合并

对于处于相同层$L$L的两个$buffer$buffer合并生成$buffer$buffer（处于层$L+1$L+1）：将两个$buffer$buffer的元素合并排序，从排好序的$2k$2k个元素中选择$k$k个元素以生成第$L+1$L+1层的$buffer$buffer。

算法流程

1. 根据公式1计算当前需要生成的$buffer$buffer所处的层数$L$L，从数据流中$k\times2^L$k×2L个元素中选取$k$k个元素，重复该步骤，直到$buffer$buffer均已被填满；
2. 选择层数较低的两个$buffer$buffer来生成新$buffer$buffer

示例

对于给定分位数$q$q查询对应元素，可以采用二分搜索来减少搜素时间。