高斯金字塔是通过高斯平滑和亚采样获得一些列下采样图像，也就是说第K层高斯金字塔通过平滑、亚采样就可以获得K+1层高斯图像，高斯金字塔包含了一系列低通滤波器，其截至频率从上一层到下一层是以因子2逐渐增加，所以高斯金字塔可以跨越很大的频率范围。金字塔的图像如下：
另外，每一层都按从下到上的次序编号， 层级 G_i+1 (表示为 G_i+1尺寸小于第i层G_i)。
1.对图像向下采样
为了获取层级为 G_i+1 的金字塔图像，我们采用如下方法:
<1> 对图像G_i进行高斯内核卷积
<2> 将所有偶数行和列去除
得到的图像即为G_i+1的图像，显而易见，结果图像只有原图的四分之一。通过对输入图像G_i(原始图像)不停迭代以上步骤就会得到整个金字塔。同时我们也可以看到，向下取样会逐渐丢失图像的信息。
以上就是对图像的向下取样操作，即缩小图像。
2.对图像的向上采样
如果想放大图像，则需要通过向上取样操作得到，具体做法如下：
<1> 将图像在每个方向扩大为原来的两倍，新增的行和列以0填充
<2> 使用先前同样的内核(乘以4)与放大后的图像卷积，获得 “新增像素”的近似值
得到的图像即为放大后的图像，但是与原来的图像相比会发觉比较模糊，因为在缩放的过程中已经丢失了一些信息，如果想在缩小和放大整个过程中减少信息的丢失，这些数据形成了拉普拉斯金字塔。