衡量两个概率分布之间的差异性的指标

衡量两个概率分布之间的差异性的指标

总结一下衡量两个概率分布之间的差异性的指标，这里只是简单涉及到了KL散度、JS散度、交叉熵和Wasserstein距离

KL散度（Kullback–Leibler divergence）

KL散度又称为相对熵，信息散度，信息增益。
定义：KL散度是是两个概率分布 ? 和 ? 之间差别的非对称性的度量，KL散度是用来度量使用基于 ? 的编码来编码来自 ? 的样本平均所需的额外的位元数。 典型情况下，? 表示数据的真实分布，? 表示数据的理论分布，模型分布，或 ? 的近似分布。
定义式：

因为对数函数是凸函数，所以KL散度的值为非负数。

注意

JS散度（Jensen-Shannon divergence）

定义：JS散度度量两个概率分布的相似度，基于KL散度的变体，解决了KL散度非对称的问题。一般地，JS散度是对称的，其取值是 0 到 1 之间