```python import numpy as np import os os.chdir('../') import matplotlib.pyplot as plt %matplotlib inline ``` ### 一.最大熵原理 最大熵的思想很樸素，即將已知事實以外的未知部分看做“等可能”的，而熵是描述“等可能”大小很合適的量化指標，熵的公式如下： $$ H(p)=-\sum_{i}p_i log p_i $$ 這裡分佈$p$的取值有$i$種情況，每種情況的概率為$p_i$，下圖繪製了二值隨機變數的熵： ```python p=np.linspace(0.1,0.9,90) ``` ```python def entropy(p): return -np.log(p)*p-np.log(1-p)*(1-p) ``` ```python plt.plot(p,entropy(p)) ```