香農定理與通俗解釋?香農三定律,奠定了信息傳輸和存儲的理論基礎,指明了信息産業的發展方向,下面我們就來說一說關于香農定理與通俗解釋?我們一起去了解并探讨一下這個問題吧!
香農三定律,奠定了信息傳輸和存儲的理論基礎,指明了信息産業的發展方向。
香農第一定律,又稱無失真信源編碼定律。對于任何信息,無論采用哪一種方式編碼,得到的編碼總長度永遠不會小于這段信息的信息熵(即這段信息固有的信息量)。最佳無失真編碼的編碼位數可以很小,但不能小于信息熵。 32個球隊,猜測哪個是冠軍,隻需要猜測5次即可,如果用二進制來說,給每個球隊編碼,最短的編碼長度是5,如32支球隊編碼為 00000,00001,00010,00011……11111,一套五位數代表一個球隊。這比實際說出球隊名稱要簡單一些,在傳遞過程中,傳遞成本低,效率高。 如果編碼多于5,就包含冗餘信息,如果少于5,就有信息失真,在傳遞的過程中,冗餘信息過多,容易被破解(二戰期間,各國加密文件傳輸常備敵國破譯就是這個因素);失真信息存在,在信息傳遞不完整不能實現傳遞效果。
香農第一定律,為信息壓縮指明方向(給信息編碼),也為信息壓縮規定了一個極限,如果不想丢失信息(失真),就不能将信息壓縮到小于信息熵。
香農第二定律,也叫有噪信道編碼定律,在任何一個信道中,無論怎樣對編碼進行優化,信息的傳輸率R永遠都不可能超過信道的容量C。 信道就是通信通道,信道容量是這個信道所能傳遞信息的上限,具體的,當信道帶寬為B,信道容量C,S為信号強度,N為噪聲強度,C=Bxlog(1 S/N),S/N就是信噪比。如果信噪比很低,信道容量就很低,比如,如果離開WiFi發射器距離20米,信噪比是63:1,在沒有任何建築物阻礙的情況下,我們挪到距離60米遠 的地方,信噪比就會下降到7:1,這時候我們就會覺得網速慢了許多。
第二定律劃定了通信技術的一個極限,不可逾越。它也指出了增加信道容量的兩個途徑,一個是增加信噪比,一個是增加頻率範圍(即帶寬)。
香農第三定律,也叫保失真度準則下的有失真信源編碼定律,即總能找到一種行之有效的編碼方法,讓信息的傳輸率無限接近信道的容量而不出錯。如果試圖以超越信道容量的傳輸率來傳輸信息,那麼不論怎麼樣編碼,通信出錯的概率都是100%。
香農的三個定律,奠定了信息傳輸和存儲的理論基礎,指明了信息産業的發展方向。
《信息傳》吳軍
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!