我覺得不僅有關係，而且老子還是把“熵增原理”應用自如的人，他能不學而知，無為而治就是懂得這個道理...

org/claude-shannon-mathematician-engineer-genius-juggler/［3］ László Kozma...

此時，夏農的資訊熵就可以大顯神威了，最簡單的方法就是，對出現機率高的字元用比較短的長度進行編碼...

for i=1：lenCharH = H + （-p（i） * log2（p（i）））...

或者我們這樣理解可能更容易明白，漢字因為資訊熵高，所以接收者在看到單個漢字時，不能確定它要表達的意思，對它的不確定性高，那麼，還能說的可能性很多，（未來可以接收的）資訊量大...

（關於人工智慧的思維模型可參見）與時俱進的認知力：深度解析“智慧時代思維模型”飛機飛得好，不需要像鳥自然語言處理或者說人工智慧，最終的解決方案，並不是鳥飛派的技術路線，而是採用“基於統計的語言模型”，簡單地說，機器其實完全不知道人在說什麼，...

與摩斯電碼不同的是，非洲的各種語言沒有字母表，所以鼓語也沒有編碼可用，所以，它其實是口語的一種變形...

（關於人工智慧的思維模型可參見）與時俱進的認知力：深度解析“智慧時代思維模型”飛機飛得好，不需要像鳥自然語言處理或者說人工智慧，最終的解決方案，並不是鳥飛派的技術路線，而是採用“基於統計的語言模型”，簡單地說，機器其實完全不知道人在說什麼，...

一般來說，若某個指標的資訊熵Ej越小，表明指標值得變異程度越大，提供的資訊量越多，在綜合評價中所能起到的作用也越大，其權重也就越大...

代入上式展開為資訊熵與聯合熵、條件熵的關係：5.交叉熵(Cross Entropy)形式上，交叉熵是一個隨機變數的機率分佈對另一個機率分佈定義的自資訊的數學期望，表示為如果為某個資料集的真實分佈，為非真實的近似分佈，交叉熵就表示使用分佈來消...

或者設定那些簡單一點的密碼...

於是，我們就可以知道，資訊就是用來消除資訊熵（不確定性）的...

中文的學習重點之一：識字中文是世界上最為難學的語言，而大多數人不知道的是，中文是達到自主閱讀最簡單的語言，漢字總量大約將近十萬個，但是日常所使用的漢字只有幾千字...

在離散的系統中，訊息和訊號由獨立的個體符號組成，比如：字元、數字或點劃...

資訊，在於你從多大的不確定性中做出選擇...