#資料清洗

# 一、處理缺失資料
import pandas as pd

log_data = pd.read_csv('log.csv')
log_data

log_data.isnull()

log_data['paused'].isnull()

# 取出volume不為空的資料
log_data[log_data['volume'].notnull()]

log_data.set_index(['time', 'user'], inplace=True)
log_data.sort_index(inplace=True)
log_data

log_data.fillna(0)

log_data.dropna()

log_data.ffill()#按之前的資料填充

log_data.bfill() #按之後的資料填充

# 二、資料變形
# 1、處理重複資料
data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
                     'k2': [1, 1, 2, 3, 3, 4, 4]})
data


#判斷資料是否重複
data.duplicated()

#去除重複資料
data.drop_duplicates()

data['v1'] = range(7)
data

#去除指定列的重複資料
data.drop_duplicates(['k1'])

data.drop_duplicates(['k1', 'k2'], keep='last')

# 2、使用函式或map轉化資料
data = pd.DataFrame({'food': ['bacon', 'pulled pork', 'bacon', 'Pastrami', 'corned beef', 'Bacon', 'pastrami', 'honey ham', 'nova lox'],
                     'ounces': [4, 3, 12, 6, 7.5, 8, 3, 5, 6]})
data

# 新增一列，用於指定食物的來源
meat_to_animal = {
    'bacon': 'pig',
    'pulled pork': 'pig',
    'pastrami': 'cow',
    'corned beef': 'cow',
    'honey ham': 'pig',
    'nova lox': 'salmon'
}
data

#使用map()
lowercased = data['food'].str.lower()
data['food'].str.lower()
data['animal'] = lowercased.map(meat_to_animal)
data

#使用方法
data['animal2'] = data['food'].map(lambda x : meat_to_animal[x.lower()])
data

# 3、替換值
data = pd.Series([1., -999., 2., -999., -1000., 3.])
data

import numpy as np

#將-999，-1000都替換為空值
data.replace([-999,-1000], np.nan)

data.replace({-999: np.nan, -1000:0})

# 4、離散化和分箱操作
#年齡資料
ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32]

# 分箱的邊界
bins = [18, 25, 35, 60, 100]

cats = pd.cut(ages, bins)
print(type(cats))

# Categorical物件
cats

#獲取分箱編碼
cats.codes

#返回分箱便捷索引
cats.categories

#統計箱中元素的個數
pd.value_counts(cats)

#帶標籤的分箱
group_names = ['Youth', 'YoungAdult', 'MiddleAged', 'Senior']
cats = pd.cut(ages, bins, labels = group_names)
cats
cats.get_values()

# 5、 啞變數操作
df = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'], 
                   'data1': range(6)})
df

pd.get_dummies(df['key'])

# 5.向量化字串操作

data = {'Dave': '

[email protected]', 'Steve': '[email protected]', 'Rob': '[email protected]', 'Wes': np.nan}
data = pd.Series(data)
data

#字串列元素中是否包含子字串
data.str.contains('gmail')

#字串列切片操作
data.str[:5]

split_df = data.str.split('@', expand=True)
split_df

split_df = data.str.split('@')
split_df

split_df[0].str.cat(split_df[1], sep='@')