用核密度估计计算 KL 散度

Question

我有两个不同长度的向量，我想使用 R 中的 density() 函数从密度估计中计算 DKL。

DKL 的方程如下。

我想我可以使用数值积分，比如说

kde1 = density(x)
kde2 = density(y)
f1 = approxfun(kde1$x,kde1$y,rule=2)
f2 = approxfun(kde2$x,kde2$y,rule=2)
kde_f = function(f1,f2){
  f1 * log2(f1/f2)
}

然后整合kde_f，例如

integrate(f = kde_f,lower=0, upper=100)

当然，这行不通，但我写了这篇文章作为我想做的主要想法。我不知道如何进行，或者即使这有道理。任何帮助将不胜感激。

Answer 1

我找到了这个解决方案

kld_base = function(x,y,...){
  integrand = function(x,y,t){
    f.x =  approx(density(x)$x,density(x)$y,t)$y
    f.y =  approx(density(y)$x,density(y)$y,t)$y
    tmpRatio = f.x *(log2(f.x) - log2(f.y))
    tmpRatio = ifelse(is.infinite(tmpRatio),0,ifelse(is.na(tmpRatio),0,tmpRatio))
    return(tmpRatio)
  }
  return(integrate(integrand,-Inf,Inf,x = x,y = y,stop.on.error=FALSE)$value)
}

set.seed(13)
x = rnorm(100)
y = rnorm(100)
kld_base(x,y)
# [1] 0.06990757

我会让这个问题开放一段时间，如果有人有比我更好的解决方案，请随时发表评论。