Lesson 3 建立函式，從EXCEL讀取，匯出到EXCEL - 異常值 - Lambda函式-切片和切塊資料。

import pandas as pd
import numpy.random as np
import matplotlib.pyplot as plt

我們將建立自己的測試資料進行分析

# set seed
np.seed(111)

# Function to generate test data
def CreateDataSet(Number=1):

    Output = []

    for i in range(Number):

        # Create a weekly (mondays) date range
 

        rng = pd.date_range(start='1/1/2009', end='12/31/2012', freq='W-MON')

        # Create random data
        data = np.randint(low=25,high=1000,size=len(rng))

        # Status pool
        status = [1,2,3]

        # Make a random list of statuses
        random_status = [status[np.randint(low=0,high=len(status))] for
 
 i in range(len(rng))]

        # State pool
        states = ['GA','FL','fl','NY','NJ','TX']

        # Make a random list of states 
        random_states = [states[np.randint(low=0,high=len(states))] for i in range(len(rng))]

        Output.extend(zip(random_states, random_status, data, rng))

    return
 
 Output

現在我們有了生成測試資料的函式，我們可以建立一些資料並將其插入到dataframe中。

dataset = CreateDataSet(4)
df = pd.DataFrame(data=dataset, columns=['State','Status','CustomerCount','StatusDate'])
df.info()

我們現在將這個dataframe儲存到一個Excel檔案中，然後將它返回到dataframe。我們這樣做只是為了向您展示如何讀寫Excel檔案。
我們不會將dataframe的索引值寫入Excel檔案，因為它們不是我們初始測試資料集的一部分。

# Save results to excel
df.to_excel('Lesson3.xlsx', index=False)
print('Done')

我們將使用read_excel函式從Excel檔案中讀取資料。該函式允許您按名稱或位置讀取特定的選項卡。

# Parse a specific sheet
df = pd.read_excel('Lesson3.xlsx', 0, index_col='StatusDate')
df.dtypes

df.index

df.head()

本節試圖清理資料以進行分析
①確保state列都是大寫的。
②只選擇帳戶狀態為“1”的記錄
③將(NJ和NY)合併到state列中的NY。
④刪除任何異常值(資料集中的任何奇怪結果)
讓我們快速看一下一些狀態值是大寫的，有些是小寫的。

df['State'].unique()

要將所有狀態值轉換為大寫，我們將使用upper()函式和dataframe的apply屬性。lambda函式簡單地將上部函式應用於狀態列中的每個值。

# Clean State Column, convert to upper case
df['State'] = df.State.apply(lambda x: x.upper())
df['State'].unique()

# Only grab where Status == 1
mask = df['Status'] == 1
df = df[mask]

簡單得把NJ變成NY…
[df.State == ‘NJ’] –在狀態列中找到它們等於NJ的所有記錄
df.State[df.State == ‘NJ’] = ‘NY’ –在狀態列中它們等於NJ的所有記錄中，將它們替換為NY

# Convert NJ to NY
mask = df.State == 'NJ'
df['State'][mask] = 'NY'

現在我們可以看到我們有一個更乾淨的資料集

df['State'].unique()

在這一點上，我們可能想要繪製資料以檢查資料中的異常值或不一致。我們將使用dataframe的plot()屬性。
正如你從下圖所看到的，它不是非常確定的，可能是我們需要執行更多的資料準備的標誌。

df['CustomerCount'].plot(figsize=(15,5));

如果我們看一下資料，我們就會開始意識到同一個狀態、狀態和狀態組合有多個值。這可能意味著您正在處理的資料是髒的/壞的/不準確的，但是我們將不這麼認為。我們可以假設這個資料集是更大資料集的子集，如果我們只是將CustomerCount列中的值新增到每個狀態、StatusDate和Status中，我們將得到每天的客戶總數。

sortdf = df[df['State']=='NY'].sort_index(axis=0)
sortdf.head(10)

現在我們的任務是建立一個新的dataframe，以壓縮資料，這樣我們就有了每個狀態和StatusDate的每日客戶計數。我們可以忽略狀態列，因為這個列中的所有值都是值1。為此，我們將使用dataframe的函式groupby和sum()。
注意，我們必須使用reset_index。如果我們不這樣做，我們就不能同時使用狀態和狀態，因為groupby函式只期望列作為輸入。reset_index函式將索引StatusDate返回到dataframe中的列。

# Group by State and StatusDate
Daily = df.reset_index().groupby(['State','StatusDate']).sum()
Daily.head()

（我不知道為什麼要必須使用reset_index，不用它結果也一樣）

state和StatusDate列將自動被放置在每日dataframe的索引中。您可以將索引看作是資料庫表的主鍵，但不考慮具有惟一值的約束。您將看到的索引中的列允許我們輕鬆地選擇、繪製和執行資料的計算。
下面我們刪除狀態列，因為它都等於1，不再需要。

del Daily['Status']
Daily.head()

# What is the index of the dataframe
Daily.index

# Select the State index
Daily.index.levels[0]

# Select the StatusDate index
Daily.index.levels[1]

現在讓我們繪製每個狀態的資料。
通過打破狀態列的圖表你可以看到，我們對資料的樣子有了更清晰的瞭解。你能發現任何異常值嗎?

Daily.loc['FL'].plot()
Daily.loc['GA'].plot()
Daily.loc['NY'].plot()
Daily.loc['TX'].plot()

（多重索引畫圖還是用了.loc定位）

我們還可以在特定的日期(比如2012年)繪製資料。我們現在可以清楚地看到，這些州的資料到處都是。由於資料由每週客戶陣列成，因此資料的可變性似乎是可疑的。在本教程中，我們將假設糟糕的資料並繼續進行。

Daily.loc['FL']['2012':].plot()
Daily.loc['GA']['2012':].plot()
Daily.loc['NY']['2012':].plot()
Daily.loc['TX']['2012':].plot();

我們假設每個月客戶數量應該保持相對穩定。在那個月的特定範圍之外的任何資料都將從資料集中刪除。最終的結果應該是沒有峰值的平滑的圖形。
StateYearMonth–這裡我們按state、年和月的statusdate分組
Daily[‘Outlier’]–一個布林值(True或False)值，讓我們知道CustomerCount列中的值是否超出可接受範圍。
我們將使用屬性transform而不是apply。其原因是，transform將保持dataframe的形狀(行號和列)不變，而apply不會。通過檢視前面的圖，我們可以發現它們不像高斯分佈，這意味著我們不能使用像平均值和stDev這樣的彙總統計資訊。我們用百分位數。注意，我們有消除良好資料的風險。

# Calculate Outliers
StateYearMonth = Daily.groupby([Daily.index.get_level_values(0), Daily.index.get_level_values(1).year, Daily.index.get_level_values(1).month])
Daily['Lower'] = StateYearMonth['CustomerCount'].transform( lambda x: x.quantile(q=.25) - (1.5*x.quantile(q=.75)-x.quantile(q=.25)) )
Daily['Upper'] = StateYearMonth['CustomerCount'].transform( lambda x: x.quantile(q=.75) + (1.5*x.quantile(q=.75)-x.quantile(q=.25)) )
Daily['Outlier'] = (Daily['CustomerCount'] < Daily['Lower']) | (Daily['CustomerCount'] > Daily['Upper']) 

# Remove Outliers
Daily = Daily[Daily['Outlier'] == False]

dataframe名為Daily，它將儲存每日彙總的客戶數。原始資料(df)每天有多個記錄。我們剩下的資料集是由狀態和狀態資料進行索引的。Outlier列應該等於False，表示記錄不是異常值。

Daily.head()

我們建立了一個單獨的dataframe，它以StatusDate的形式將每天的dataframe命名為ALL。本質上，我們去掉了狀態列。Max列表示每個月的最大客戶數。最大列用來平滑圖形。

# Combine all markets

# Get the max customer count by Date
ALL = pd.DataFrame(Daily['CustomerCount'].groupby(Daily.index.get_level_values(1)).sum())
ALL.columns = ['CustomerCount'] # rename column

# Group by Year and Month
YearMonth = ALL.groupby([lambda x: x.year, lambda x: x.month])

# What is the max customer count per Year and Month
ALL['Max'] = YearMonth['CustomerCount'].transform(lambda x: x.max())
ALL.head()

正如您從上面的所有dataframe中看到的，在2009年1月，客戶的最大數量是901。如果我們使用了apply，那麼我們就會得到一個dataframe(年份和月份)作為索引，並且只使用值為901的Max列。

此外，衡量目前的客戶數量是否達到了公司設定的目標也有好處。這裡的任務是直觀地顯示當前的客戶數量是否達到了下面列出的目標。我們將把目標稱為BHAG(龐大的年度目標)。
12/31/2011 - 1,000 customers
12/31/2012 - 2,000 customers
12/31/2013 - 3,000 customers
我們將使用date_range函式來建立日期
通過選擇一個或一年的頻率，我們將能夠從上面得到三個目標日期

# Create the BHAG dataframe
data = [1000,2000,3000]
idx = pd.date_range(start='12/31/2011', end='12/31/2013', freq='A')
BHAG = pd.DataFrame(data, index=idx, columns=['BHAG'])
BHAG

將dataframes與我們在上一課中所學到的結合起來，使用concat函式進行簡單操作。記住，當我們選擇軸= 0時，我們會追加行。

# Combine the BHAG and the ALL data set 
combined = pd.concat([ALL,BHAG], axis=0)
combined = combined.sort_index(axis=0)
combined.tail()

fig, axes = plt.subplots(figsize=(12, 7))

combined['BHAG'].fillna(method='pad').plot(color='green', label='BHAG')
combined['Max'].plot(color='blue', label='All Markets')
plt.legend(loc='best');

還需要預測明年的客戶數量，我們可以在幾個簡單的步驟中做到這一點。我們將首先將合併的dataframe按年分組，並將該年的最大客戶數放在一起。這將使我們每年有一行。

# Group by Year and then get the max value per year
Year = combined.groupby(lambda x: x.year).max()
Year

# Add a column representing the percent change per year
Year['YR_PCT_Change'] = Year['Max'].pct_change(periods=1)
Year

為了獲得明年的最終客戶數量，我們將假定我們目前的增長率保持不變。然後，我們將增加這幾年的客戶數量，這將是我們明年的預測。
建立每個狀態的單個圖

# First Graph
ALL['Max'].plot(figsize=(10, 5));plt.title('ALL Markets')

# Last four Graphs
fig, axes = plt.subplots(nrows=2, ncols=2, figsize=(20, 10))
fig.subplots_adjust(hspace=1.0) ## Create space between plots

Daily.loc['FL']['CustomerCount']['2012':].fillna(method='pad').plot(ax=axes[0,0])
Daily.loc['GA']['CustomerCount']['2012':].fillna(method='pad').plot(ax=axes[0,1]) 
Daily.loc['TX']['CustomerCount']['2012':].fillna(method='pad').plot(ax=axes[1,0]) 
Daily.loc['NY']['CustomerCount']['2012':].fillna(method='pad').plot(ax=axes[1,1]) 

# Add titles
axes[0,0].set_title('Florida')
axes[0,1].set_title('Georgia')
axes[1,0].set_title('Texas')
axes[1,1].set_title('North East');