分类：JS散度

2021
07-09

基于KL散度、JS散度以及交叉熵的对比

在看论文《DetectingRegionsofMaximalDivergenceforSpatio-TemporalAnomalyDetection》时，文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。KL散度、JS散度和交叉熵三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。对于概率分布P(x)和Q(x)1）KL散度（Kullback?Leiblerdivergence）又称KL距离，相对熵。当P(x)和Q(x)的相似度越高，KL散度越小。KL散度主要有两个性质：（1）不... 继续阅读 >