InformationTheory

$p(i|j)=\frac{p(i,j)}{\sum_{j}{p(i,j)}}=\frac{p(i,j)}{p(i)}$

$S(X)=-\sum_{k=1}^{n}{p(k)\log p(k)}$
$S(X\times Y)=-\sum_{i}^{n}\sum_{j}^{m}{p(i,j)\log p(i,j)}$

$S(p|q)=\sum_{k=1}^{n}{p_k\log \frac{p_k}{q_k}}$

$if)p=q$
$S(p\|q)=\sum_{k=1}^{n}{p_k\log \frac{p_k}{q_k}}$

タグ：

+ タグ編集

最終更新：2009年06月10日 23:53