信息論基礎屬于什么知識體系(信息論基礎的介紹)

1.信息論基礎的介紹

《信息論基礎》是2008年人民郵電出版社出版圖書(shū)。作者為田寶玉、楊潔、賀志強、王曉湘。該書(shū)為高等學(xué)校信息與計算科學(xué)專(zhuān)業(yè)本科生編寫(xiě)的教材。內容包括概率論的基礎知識，香農提出的有關(guān)信息量化的基本概念、方法和定理，以及信源的基本編碼理論和信道的基本編碼理論。

2.信息論是什么

信息論 開(kāi)放分類(lèi)： 哲學(xué)、信息 總述 （來(lái)源： 信息論 南豐公益書(shū)院 ） 信息論 信息論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學(xué)、數據壓縮等問(wèn)題的應用數學(xué)學(xué)科。

信息論將信息的傳遞作為一種統計現象來(lái)考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。

這兩個(gè)方面又由信息傳輸定理、信源-信道隔離定理相互聯(lián)系。 香農被稱(chēng)為是“信息論之父”。

人們通常將香農于1948年10月發(fā)表于《貝爾系統技術(shù)學(xué)報》上的論文《A Mathematical Theory of Communication》（通信的數學(xué)理論）作為現代信息論研究的開(kāi)端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。

在該文中，香農給出了信息熵（以下簡(jiǎn)稱(chēng)為“熵”）的定義： H = - ∑ pilogpi i 這一定義可以用來(lái)推算傳遞經(jīng)二進(jìn)制編碼后的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結構所決定的部分，比如，語(yǔ)言結構的冗余性以及語(yǔ)言中字母、詞的使用頻度等統計特性。

南豐公益書(shū)院 信息論中熵的概念與物理學(xué)中的熱力學(xué)熵有著(zhù)緊密的聯(lián)系。玻耳茲曼與吉布斯在統計物理學(xué)中對熵做了很多的工作。

信息論中的熵也正是受之啟發(fā)。 互信息（Mutual Information）是另一有用的信息度量，它是指兩個(gè)事件集合之間的相關(guān)性。

兩個(gè)事件X和Y的互信息定義為： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是聯(lián)合熵（Joint Entropy），其定義為： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著(zhù)密切的聯(lián)系。 應用 信息論被廣泛應用在： 南豐公益書(shū)院 編碼學(xué) 密碼學(xué)與密碼分析學(xué) 數據傳輸 數據壓縮 檢測理論 估計理論 信息論第一定律 信息論是一門(mén)用數理統計方法來(lái)研究信息的度量、傳遞和變換規律的科學(xué)。

它主要是研究通訊和控制系統中普遍存在著(zhù)信息傳遞的共同規律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問(wèn)題的基礎理論。 信息論的研究范圍極為廣闊。

一般把信息論分成三種不同類(lèi)型： （1）狹義信息論是一門(mén)應用數理統計方法來(lái)研究信息處理和信息傳遞的科學(xué)。它研究存在于通訊和控制系統中普遍存在著(zhù)的信息傳遞的共同規律，以及如何提高各信息傳輸系統的有效性和可靠性的一門(mén)通訊理論。

（2）一般信息論主要是研究通訊問(wèn)題，但還包括噪聲理論、信號濾波與預測、調制與信息處理等問(wèn)題。 （3）廣義信息論不僅包括狹義信息論和一般信息論的問(wèn)題，而且還包括所有與信息有關(guān)的領(lǐng)域，如心理學(xué)、語(yǔ)言學(xué)、神經(jīng)心理學(xué)、語(yǔ)義學(xué)等。

信息就是一種消息，它與通訊問(wèn)題密切相關(guān)。1984年貝爾研究所的申農在題為《通訊的數學(xué)理論》的論文中系統地提出了關(guān)于信息的論述，創(chuàng )立了信息論。

維納提出的關(guān)于度量信息量的數學(xué)公式開(kāi)辟了信息論的廣泛應用前景。1951年美國無(wú)線(xiàn)電工程學(xué)會(huì )承認信息論這門(mén)學(xué)科，此后得到迅速發(fā)展。

20世紀50年代是信息論向各門(mén)學(xué)科沖擊的時(shí)期，60年代信息論不是重大的創(chuàng )新時(shí)期，而是一個(gè)消化、理解的時(shí)期，是在已有的基礎上進(jìn)行重大建設的時(shí)期。研究重點(diǎn)是信息和信源編碼問(wèn)題。

到70年代，由于數字計算機的廣泛應用，通訊系統的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問(wèn)題。人們越來(lái)越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。

信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類(lèi)各種活動(dòng)中所碰到的信息問(wèn)題的基礎理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。目前，人們已把早先建立的有關(guān)信息的規律與理論廣泛應用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。

一門(mén)研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學(xué)正在形成。 信息科學(xué)是人們在對信息的認識與利用不斷擴大的過(guò)程中，在信息論、電子學(xué)、計算機科學(xué)、人工智能、系統工程學(xué)、自動(dòng)化技術(shù)等多學(xué)科基礎上發(fā)展起來(lái)的一門(mén)邊緣性新學(xué)科。

它的任務(wù)主要是研究信息的性質(zhì)，研究機器、生物和人類(lèi)關(guān)于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規律，設計和研制各種信息機器和控制設備，實(shí)現操作自動(dòng)化，以便盡可能地把人腦從自然力的束縛下解放出來(lái)，提高人類(lèi)認識世界和改造世界的能力。信息科學(xué)在安全問(wèn)題的研究中也有著(zhù)重要應用。

——摘自《安全科學(xué)技術(shù)百科全書(shū)》（中國勞動(dòng)社會(huì )保障出版社，2003年6月出版）。