夏農熵的計算,資訊熵的計算公式,麻煩通俗地講一下。

2021-04-18 04:14:36 字數 840 閱讀 3185

1樓:阿樓愛吃肉

資訊熵的計算公式:h(x) = e[i(xi)] = e[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)。

其中,x表示隨機變數,與之相對應的是所有可能輸出的集合,定義為符號集,隨機變數的輸出用x表示。p(x)表示輸出概率函式。變數的不確定性越大,熵也就越大,把它搞清楚所需要的資訊量也就越大。

資訊熵是數學方法和語言文字學的結合,基本計算公式是未h = - log2(p)。其中,h 表示資訊熵,p 表示某種語言文字的字元出現的概率,log2是以二為底的對數,用的是二進位制,因而,資訊熵的單位是位元(bit,即二進位制的0和1)。資訊熵值就是資訊熵的數值。

2樓:讀透紅塵盂看客

h=-∑(p(i)*log2[p(i)])(i=1,2,3…)

資訊熵是什麼?什麼是熵?

3樓:匿名使用者

在資訊理論中,熵抄被用來衡量乙個隨機變數出現的期望值。它代表了在被接收之前,訊號傳輸過程中損失的資訊量,又被稱為資訊熵。資訊熵也稱信源熵、平均自資訊量。

在2023年,克勞德·艾爾伍德·夏農將熱力學的熵,引入到資訊理論,因此它又被稱為夏農熵。

4樓:匿名使用者

資訊是個很抽copy象的概念。我們bai常常說資訊很多,或者資訊du較少,zhi但卻很難說清楚資訊到底有多少。比dao如一本五十萬字的中文書到底有多少資訊量。

熵表示物質系統狀態的乙個物理量(記為s),它表示該狀態可能出現的程度。在熱力學中,是用以說明熱學過程不可逆性的乙個比較抽象的物理量。孤立體系中實際發生的過程必然要使它的熵增加。

如何用matlab計算已知影象的熵

function entr yentropy a a uint8 a 這裡a為8位的單色影象或24為的rgb彩色影象 m n l size a entr 0 for k 1 l hi zeros 1,256 for i 1 m for j 1 n hi a i,j,k 1 hi a i,j,k 1 ...

利息的計算公式,貸款利息的計算公式

利息的計算公式為 利息 本金 利率 存期。借款15萬,借條上寫1分的利息 按年利率10 計算 借款一整年。則借1年的利息 本金 利率 存期 150000 10 1 15000元。擴充套件資料 利息分類情況 利息計算公式主要分為以下四種情況 第一,計算利息的基本公式,儲蓄存款利息計算的基本公式為 利息...

梯度的計算公式,梯度的計算公式是什麼?

瓦斯梯度 gas gradient 定義 在瓦斯風化帶以下,深度每增加一單位時,相對甲烷湧出量增加的量。這裡有份資料,參考下.你好 這個應該是 if a1 a2 200,a1 a2 0.53,if a1 a2 400,a1 a2 200 0.58 200 0.53,a1 a2 400 0.83 20...