1. 本文為譯文，原文連結：
   Let’s begin
   1.資料集情況，
   # u.user檔案中為user_id，age，occupation，zip_code，格式如下：
   
   # u.data檔案中為user_id，movie_id，rating，unix_timestamp，格式如下：
   
   # u.item檔案中為movie_id，title, release_date, video_release_date，imdb_url,格式如下：
   

import pandas as pd
import numpy as np
import matplotlib.pylab as plt 
%matplotlib inline 

# 讀入資料
 

u_cols = ['user_id', 'age', 'sex', 'occupation', 'zip_code']
users = pd.read_csv('u.user', sep='|', names=u_cols,encoding='latin-1')

r_cols = ['user_id', 'movie_id', 'rating', 'unix_timestamp']
ratings = pd.read_csv('u.data', sep='\t', names=r_cols,encoding='latin-1')

m_cols = ['movie_id', 'title'
 
, 'release_date', 'video_release_date', 'imdb_url'] 
movies = pd.read_csv('u.item', sep='|', names=m_cols, usecols=range(5),encoding='latin-1') 

# 資料集整合

movie_ratings = pd.merge(movies, ratings) 
lens = pd.merge(movie_ratings, users)

聯合後資料及情況如下：

1. 列出被評價過次數最多的20部電影：按照電影標題將資料集分為不同的groups，並且用size( )函式得到每部電影的個數（即每部電影被評論的次數），按照從大到小排序，取最大的前20部電影列出如下：

most_rated = lens.groupby('title').size().sort_values(ascending=False)[:20]
most_rated

此語句等價於SQL中的：

SELECT title, count(1)
FROM lens
GROUP BY title
ORDER BY 2 DESC
LIMIT 20;

【輸出】
title
Star Wars (1977)                    583
Contact (1997)                      509
Fargo (1996)                        508
Return of the Jedi (1983)           507
Liar Liar (1997)                    485
English Patient, The (1996)         481
Scream (1996)                       478
Toy Story (1995)                    452
Air Force One (1997)                431
Independence Day (ID4) (1996)       429
Raiders of the Lost Ark (1981)      420
Godfather, The (1972)               413
Pulp Fiction (1994)                 394
Twelve Monkeys (1995)               392
Silence of the Lambs, The (1991)    390
Jerry Maguire (1996)                384
Chasing Amy (1997)                  379
Rock, The (1996)                    378
Empire Strikes Back, The (1980)     367
Star Trek: First Contact (1996)     365
dtype: int64

2. 評分最高的十部電影
按照電影名稱分組，用agg函式通過一個字典{‘rating’: [np.size, np.mean]}來按照key即rating這一列聚合，檢視每一部電影被評論過的次數和被打的平均分。取出至少被評論過100次的電影按照平均評分從大到小排序，取最大的10部電影。

movie_stats = lens.groupby('title').agg({'rating': [np.size, np.mean]})
atleast_100 = movie_stats['rating']['size'] >= 100
movie_stats[atleast_100].sort_values([('rating', 'mean')], ascending=False)[:10]

上述語句等價於SQL中的：

SELECT title, COUNT(1) size, AVG(rating) mean
FROM lens
GROUP BY title
HAVING COUNT(1) >= 100
ORDER BY 3 DESC
LIMIT 10;

【輸出】
                                    rating
                                    size    mean
title       
Close Shave, A (1995)               112 4.491071
Schindler's List (1993)             298 4.466443
Wrong Trousers, The (1993)          118 4.466102
Casablanca (1942)                   243 4.456790
Shawshank Redemption, The (1994)    283 4.445230
Rear Window (1954)                  209 4.387560
Usual Suspects, The (1995)          267 4.385768
Star Wars (1977)                    583 4.358491
12 Angry Men (1957)                 125 4.344000
Citizen Kane (1941)                 198 4.292929

3. 檢視不同年齡見爭議最大的電影：
（1）。檢視使用者的年齡分佈：

users.age.plot.hist(bins=30)
plt.title("Distribution of users' ages")
plt.ylabel('count of users')
plt.xlabel('age');

（2）用pandas.cut函式將使用者年齡分組：

labels = ['0-9', '10-19', '20-29', '30-39', '40-49', '50-59', '60-69', '70-79']
lens['age_group'] = pd.cut(lens.age, range(0, 81, 10), right=False, labels=labels)
lens[['age', 'age_group']].drop_duplicates()[:10]

（3）每個年齡段使用者評分人數和打分偏好，看起來年輕人更挑剔一點點

lens.groupby('age_group').agg({'rating': [np.size, np.mean]})

（4）檢視被評價過最多次的50部電影在不同年齡段之間的打分差異。並且用unstack函式將資料轉換為一個表格，每一行為電影名稱，每一列為年齡組，值為該年齡組的使用者對該電影的平均評分。

most_50 = lens.groupby('movie_id').size().sort_values(ascending=False)[:50]
lens.set_index('movie_id', inplace=True)
by_age = lens.loc[most_50.index].groupby(['title', 'age_group'])
by_age.rating.mean().head(15)
by_age.rating.mean().unstack(1).fillna(0)[10:20]

# 若將上面的一句改為如下，則將電影標題置為列將年齡組置為行：

by_age.rating.mean().unstack(0).fillna(0)

4.不同性別間爭議最大的電影
（1）

lens.reset_index('movie_id', inplace=True)
pivoted = lens.pivot_table(index=['movie_id', 'title'],
                           columns=['sex'],
                           values='rating',
                           fill_value=0)
pivoted['diff'] = pivoted.M - pivoted.F
pivoted.head()

（2）

pivoted.reset_index('movie_id', inplace=True)
disagreements = pivoted[pivoted.movie_id.isin(most_50.index)]['diff']
disagreements.sort_values().plot(kind='barh', figsize=[9, 15])
plt.title('Male vs. Female Avg. Ratings\n(Difference > 0 = Favored by Men)')
plt.ylabel('Title')
plt.xlabel('Average Rating Difference');