案例來源：《Python數據分析與挖掘實戰》第13章

案例背景與挖掘目標

輸入數據：
《某市統計年鑒》（1995-2014）

挖掘目標：

1. 梳理影響地方財政收入的關鍵特征，分析、識別影響地方財政收入的關鍵特征的選擇模型
2. 結合目標1的因素分析，對某市2015年的財政總收入及各個類別收入進行預測

分析方法與過程（選擇的原則）

以往對財政收入的分析會使用多元線性回歸模型，和最小二乘估計方法來估計回歸模型的系統，但這樣的結果對數據依賴程度很大，並且求得的往往只是局部最優解，後續的檢驗可能會失去應有的意義。
因此本案例運用Adaptive-Lasso變量選擇方法來研究。
子任務規劃

1. 從某市統計局網站以及各統計年鑒搜集到該市財政收入以及各類別收入
2. 建立Adaptive-Lasso變量選擇模型
3. 代入構建好的人工神經網絡模型中，從而得到2015年預測值

實驗
掌握Adaptive-Lasso變量選擇和神經網絡預測模型

1. 分析數據，識別關鍵特征，使用Adaptive-Lasso變量選擇方法進行篩選
2. 用GM(1,1)灰色預測方法得到篩選出的關鍵影響因素的2014、2015的預測值
3. 代入神經網絡模型，得到2014、2015預測值

代碼存檔：

實驗

掌握Adaptive-Lasso變量選擇和神經網絡預測模型

1. 分析數據，識別關鍵特征，使用Adaptive-Lasso變量選擇方法進行篩選
2. 用GM(1,1)灰色預測方法得到篩選出的關鍵影響因素的2014、2015的預測值
3. 代入神經網絡模型，得到2014、2015預測值

import numpy as np
import pandas as pd
import os

# 查看數據概況
dpath = ‘./demo/data/data1.csv‘
input_data = pd.read_csv(dpath)
r = [input_data.min(),input_data.max(),input_data.mean(),input_data.std()]
r = pd.DataFrame(r, index=[‘Min‘,‘Max‘,‘Mean‘,‘Std‘])
r = np.round(r,2)
print(r)

              x1       x2       x3        x4        x5          x6       x7  Min   3831732.00   181.54   448.19   7571.00   6212.70  6370241.00   525.71   
Max   7599295.00  2110.78  6882.85  42049.14  33156.83  8323096.00  4454.55   
Mean  5579519.95   765.04  2370.83  19644.69  15870.95  7350513.60  1712.24   
Std   1262194.72   595.70  1919.17  10203.02   8199.77   621341.85  1184.71   

            x8      x9     x10     x11   x12       x13        y  
Min     985.31   60.62   65.66   97.50  1.03   5321.00    64.87  
Max   15420.14  228.46  852.56  120.00  1.91  41972.00  2088.14  
Mean   5705.80  129.49  340.22  103.31  1.42  17273.80   618.08  
Std    4478.40   50.51  251.58    5.51  0.25  11109.19   609.25  
 

# 求解Pearson相關系數
np.round(input_data.corr(method=‘pearson‘),2)

結果顯示只有X11與結果y值呈現負相關，其余變量均為正相關。

# 導入AdaptiveLasso
from sklearn import linear_model
model = linear_model.Lasso(alpha=1)
model.fit(input_data.iloc[:,0:13], input_data[‘y‘])
model.coef_

/Users/januswing/Library/Python/3.6/lib/python/site-packages/sklearn/linear_model/coordinate_descent.py:491: ConvergenceWarning: Objective did not converge. You might want to increase the number of iterations. Fitting data with very small alpha may cause precision problems.
  ConvergenceWarning)





array([-1.85085555e-04, -3.15519378e-01,  4.32896206e-01, -3.15753523e-02,
        7.58007814e-02,  4.03145358e-04,  2.41255896e-01, -3.70482514e-02,
       -2.55448330e+00,  4.41363280e-01,  5.69277642e+00, -0.00000000e+00,
       -3.98946837e-02])

def GM11(x0): #自定義灰色預測函數
  import numpy as np
  x1 = x0.cumsum() #1-AGO序列
  z1 = (x1[:len(x1)-1] + x1[1:])/2.0 #緊鄰均值（MEAN）生成序列
  z1 = z1.reshape((len(z1),1))
  B = np.append(-z1, np.ones_like(z1), axis = 1)
  Yn = x0[1:].reshape((len(x0)-1, 1))
  [[a],[b]] = np.dot(np.dot(np.linalg.inv(np.dot(B.T, B)), B.T), Yn) #計算參數
  f = lambda k: (x0[0]-b/a)*np.exp(-a*(k-1))-(x0[0]-b/a)*np.exp(-a*(k-2)) #還原值
  delta = np.abs(x0 - np.array([f(i) for i in range(1,len(x0)+1)]))
  C = delta.std()/x0.std()
  P = 1.0*(np.abs(delta - delta.mean()) < 0.6745*x0.std()).sum()/len(x0)
  return f, a, b, x0[0], C, P #返回灰色預測函數、a、b、首項、方差比、小殘差概率

inputfile = ‘./demo/data/data1.csv‘ #輸入的數據文件
outputfile = ‘./demo/tmp/data1_GM11.xls‘ #灰色預測後保存的路徑
data = pd.read_csv(inputfile) #讀取數據
data.index = range(1994, 2014)

data.loc[2014] = None
data.loc[2015] = None
l = [‘x1‘, ‘x2‘, ‘x3‘, ‘x4‘, ‘x5‘, ‘x7‘]

for i in l:
  f = GM11(data[i][:20].as_matrix())[0]
  data[i][2014] = f(len(data)-1) #2014年預測結果
  data[i][2015] = f(len(data)) #2015年預測結果
  data[i] = data[i].round(2) #保留兩位小數

data[l+[‘y‘]].to_excel(outputfile) #結果輸出

data[l+[‘y‘]]

import pandas as pd
inputfile = ‘./tmp/data1_GM11.xls‘ #灰色預測後保存的路徑
outputfile = ‘./data/revenue.xls‘ #神經網絡預測後保存的結果
modelfile = ‘./tmp/1-net.model‘ #模型保存路徑
data = pd.read_excel(inputfile) #讀取數據
feature = [‘x1‘, ‘x2‘, ‘x3‘, ‘x4‘, ‘x5‘, ‘x7‘] #特征所在列

data_train = data.loc[range(1994,2014)].copy() #取2014年前的數據建模
data_mean = data_train.mean()
data_std = data_train.std()
data_train = (data_train - data_mean)/data_std #數據標準化
x_train = data_train[feature].as_matrix() #特征數據
y_train = data_train[‘y‘].as_matrix() #標簽數據

from keras.models import Sequential
from keras.layers.core import Dense, Activation

model = Sequential() #建立模型
model.add(Dense(input_dim=6, output_dim=12))
model.add(Activation(‘relu‘)) #用relu函數作為激活函數，能夠大幅提供準確度
model.add(Dense(input_dim=12, output_dim=1))
model.compile(loss=‘mean_squared_error‘, optimizer=‘adam‘) #編譯模型
model.fit(x_train, y_train, nb_epoch = 10000, batch_size = 16, verbose=0) #訓練模型，學習一萬次
model.save_weights(modelfile) #保存模型參數

#預測，並還原結果。
x = ((data[feature] - data_mean[feature])/data_std[feature]).as_matrix()
data[u‘y_pred‘] = model.predict(x) * data_std[‘y‘] + data_mean[‘y‘]
data.to_excel(outputfile)

/Users/januswing/Library/Python/3.6/lib/python/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters
Using TensorFlow backend.
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/ipykernel_launcher.py:19: UserWarning: Update your `Dense` call to the Keras 2 API: `Dense(input_dim=6, units=12)`
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/ipykernel_launcher.py:21: UserWarning: Update your `Dense` call to the Keras 2 API: `Dense(input_dim=12, units=1)`
/Users/januswing/Library/Python/3.6/lib/python/site-packages/keras/models.py:942: UserWarning: The `nb_epoch` argument in `fit` has been renamed `epochs`.
  warnings.warn(‘The `nb_epoch` argument in `fit` ‘

import matplotlib.pyplot as plt #畫出預測結果圖
p = data[[‘y‘,‘y_pred‘]].plot(subplots = True, style=[‘b-o‘,‘r-*‘])
plt.show()

?

提出問題：

識別關鍵特征的方法還有哪些？哪些在PyTorch裏面可以用？

學習筆記：【案例】財政收入影響因素分析及預測模型