基础知识

决策量(decision content)

H0=log(n)       其中，n是事件数

决策量的单位由对数的底数决定 * Sh (Shannon): 用于以2为底的对数 * Nat (natural unit): 用于以e为底的对数 * Hart (hartley)： 用于以10为底的对数

信息量(information content)

I(x) = log2[1/p(x)] = - log2p(x)