Kullback leibler 散度实现使用什么对数值？

Question

我已经做了一个在java中实现Kullback-leibler散度的方法。我使用了以 2 为底的日志，但我不确定我是否正确使用了它，或者我应该使用以 10 为底的日志。我正在使用这种方法来测量两个文本单元（每个不同长度）之间的差异。

我的问题是我没有得到想要的发散度量。

例如对于两个文本单元，即 =>“免费铃声”和第二个“来自 PremieRingtones.com 的手机免费铃声”

我应该得到 0.25 的分歧（根据我的项目参考），但如果我使用 log base2 和 1.38 作为 log base10，我会得到 2.0 的分歧。

我也不知道用什么值代替分母的值而不是零值。如果可能的话，请帮助用一些例子给出清楚的解释，甚至一些链接到我可以得到细节的地方。

这是我的代码 sn-p:

public Double calculateKLD(List<String> values,List<String> value2)   
{  

    Map<String, Integer> map = new HashMap<String, Integer>();  
    Map<String, Integer> map2 = new HashMap<String, Integer>();  
    for (String sequence : values)  
    {  
        if (!map.containsKey(sequence))  
        {  
            map.put(sequence, 0);
        }
        map.put(sequence, map.get(sequence) + 1);
    }

    for (String sequence : value2)  
    {  
        if (!map2.containsKey(sequence)) {
            map2.put(sequence, 0);
        }
        map2.put(sequence, map2.get(sequence) + 1);
    }

    Double result = 0.0;
    Double frequency2=0.0;
    for (String sequence : map.keySet())  
    {

        Double frequency1 = (double) map.get(sequence) / values.size();
        System.out.println("Freuency1 "+frequency1.toString());
        if(map2.containsKey(sequence))
        {

            frequency2 = (double) map2.get(sequence) / value2.size();                
        }
        result += frequency1 * (Math.log(frequency1/frequency2) / Math.log(2));         
    }  
    return result/2.4;  
}    

我的输入是这样的

第一个文本单元

   list.add("Free");list.add("Ringtones");  

第二个文本单元

      list2.add("Free");list2.add("Ringtones");list2.add("for");list2.add("your");list2.add("Mobiile");list2.add("Phone");list2.add("from");list2.add("PremieRingtones.com");

调用函数

   calculateKLD(list, list2)

Answer 1

作为猜测，您可能希望使用以 e 为底的对数（即自然对数）。由于 K-L 散度是一种统计量度，因此很有可能它是根据自然对数定义的。