視訊網站資料清洗整理和結論研究

要求： 1、資料清洗 - 去除空值

• 要求：建立函式
• 提示：fillna方法填充缺失資料，注意inplace引數

2、資料清洗 - 時間標籤轉化

• 要求： ① 將時間欄位改為時間標籤 ② 建立函式
• 提示： 需要將中文日期轉化為非中文日期，例如 2016年5月24日 → 2016.5.24

3、問題1 分析出不同導演電影的好評率，並篩選出TOP20

• 要求： ① 計算統計出不同導演的好評率，不要求建立函式 ② 通過多系列柱狀圖，做圖表視覺化
• 提示： ① 好評率 = 好評數 / 評分人數 ② 可自己設定圖表風格

4、問題2 統計分析2001-2016年每年評影人數總量

• 要求： ① 計算統計出2001-2016年每年評影人數總量，不要求建立函式 ② 通過面積圖，做圖表視覺化，分析每年人數總量變化規律 ③ 驗證是否有異常值（極度異常） ④ 建立函式分析出資料外限最大最小值） ⑤ 篩選檢視異常值 → 是否異常值就是每年的熱門電影？
• 提示： ① 通過箱型圖驗證異常值情況 ② 通過quantile(q=0.5)方法，得到四分位數 ③ IQR=Q3-Q1 ④ 外限：最大值區間Q3+3IQR,最小值區間Q1-3IQR （IQR=Q3-Q1） ⑤ 可自己設定圖表風格

一 匯入python包

import pandas as pd
import numpy as np 
import matplotlib.pyplot as plt
% matplotlib inline

二 資料讀取

data = pd.read_csv('C:/Users/Hjx/Desktop/愛奇藝視訊資料.csv', engine = 'python')
print(data.head())
 

三 資料清洗

1 去除空值

文字型欄位空值改為“缺失資料”，數字型欄位空值改為 0

• 要求：建立函式
• 提示：fillna方法填充缺失資料，注意inplace引數

def data_cleaning(df):
    cols = df.columns
    for col in cols:
        if df[col].dtype ==  'object':
            df[col].fillna('缺失資料', inplace = True)
        else:
            df[col].fillna(0, inplace = True)
    return(df)
 

• 該函式可以將任意資料內空值替換

data_c1 = data_cleaning(data)
print(data_c1.head(10))

2 時間標籤轉化

將時間欄位改為時間標籤

• 要求：建立函式
• 提示：需要將中文日期轉化為非中文日期，例如 2016年5月24日 → 2016.5.24

	def data_time(df,*cols):
	    for col in cols:
	        df[col] = df[col].str.replace('年','.')
	        df[col] = df[col].str.replace('月','.')
	        df[col] = df[col].str.replace('日','')
	        df[col] = pd.to_datetime(df[col])
	    return(df)

• 該函式將輸入列名的列，改為DatetimeIndex格式

data_c2 = data_time(data_c1,'資料獲取日期')
print(data_c2.head(10))

四 統計分析

• 問題1 分析出不同導演電影的好評率，並篩選出TOP20
  • 要求： ① 計算統計出不同導演的好評率，不要求建立函式 ② 通過多系列柱狀圖，做圖表視覺化
  • 提示： ① 好評率 = 好評數 / 評分人數

df_q1 = data_c2.groupby('導演')[['好評數','評分人數']].sum()
df_q1['好評率'] = df_q1['好評數'] / df_q1['評分人數']
result_q1 = df_q1.sort_values(['好評率'], ascending=False)[:20]

• 計算統計不同導演的好評率

result_q1['好評率'].plot(kind='bar',
       color = 'k',
       width = 0.8,
       alpha = 0.4,
       rot = 45,
       grid = True,
       ylim = [0.98,1],
       figsize = (12,4),
       title = '不同導演電影的好評率')

• 問題2 統計分析2001-2016年每年評影人數總量
  • 要求： ① 計算統計出2001-2016年每年評影人數總量，不要求建立函式 ② 通過面積圖，做圖表視覺化，分析每年人數總量變化規律 ③ 驗證是否有異常值（極度異常） ④ 建立函式分析出資料外限最大最小值） ⑤ 篩選檢視異常值 → 是否異常值就是每年的熱門電影？
  • 提示： ① 通過箱型圖驗證異常值情況 ② 通過quantile(q=0.5)方法，得到四分位數 ③ IQR=Q3-Q1 ④ 外限：最大值區間Q3+3IQR,最小值區間Q1-3IQR （IQR=Q3-Q1）

q2data1 = data_c2[['導演','上映年份','整理後劇名']].drop_duplicates()  
q2data1 = q2data1[q2data1['上映年份'] != 0]

• 篩選出不同年份的資料，去除‘上映年份’欄位缺失資料

q2data2 = data_c2.groupby('整理後劇名').sum()[['評分人數','好評數']]
#print(q2data2)

• 求出不同劇的評分人數、好評數總和

q2data3 = pd.merge(q2data1,q2data2,left_on='整理後劇名',right_index=True)
#print(q2data3)

• 合併資料，得到不同年份，不同劇的評分人數、好評數總和

q2data4 = q2data3.groupby('上映年份').sum()[['評分人數','好評數']]
print(q2data4.head())

• 按照電影上映年份統計，評分人數量

fig1 = plt.figure(num=1,figsize=(12,4))
q2data4['評分人數'].loc[2000:].plot.area(figsize = (10,4),
                                    grid = True,
                                    color = 'g',
                                    alpha = 0.8)
plt.xticks(range(2001,2016))
plt.title('2001-2016年每年評影人數總量統計')

• 建立面積圖
  • 每年影評人數通過每個電影來判斷是否合理？
  • 存在異常值，哪些是異常值？

fig,axes = plt.subplots(4,4,figsize=(10,16))
start = 2001
for i in range(4):
    for j in range(4):
        data = q2data3[q2data3['上映年份'] == start]
        data[['評分人數','好評數']].boxplot(whis = 3,  # IQR為3
                                            return_type='dict',ax = axes[i,j])  # 建立矩陣箱型圖
        start += 1

• 發現基本每年的資料中都有異常值，且為極度異常
• 建立函式得到外限最大最小值
• 檢視異常值

a = q2data3[q2data3['上映年份'] == 2001]
def data_error(df,col):
    q1 = df[col].quantile(q=0.25)  # 上四分位數
    q3 = df[col].quantile(q=0.75)  # 下四分位數
    iqr = q3 - q1   # IQR
    tmax = q3 + 3 * iqr  # 外限最大值
    tmin = q3 - 3 * iqr  # 外限最小值
    return(tmax,tmin)

• 建立函式，得到外限最大最小值

for i in range(2000,2016):
    datayear = q2data3[q2data3['上映年份'] == i]  # 篩選該年度的資料
    print('%i年有%i條資料' % (i,len(datayear)))  # 檢視每年的資料量
    t = data_error(datayear,'評分人數')  # 得到外限最大最小值
    #print(t)
    print(datayear[datayear['評分人數'] > t[0]])  # 檢視評分人數大於外限最大值的異常值
    print('-------\n')

• 檢視異常值資訊