1. Python資料分析的工具包

• numpy： (Numerical Python的簡稱)，是高效能科學計算和資料分析的基礎包
• pandas：基於Numpy建立的Python包，含有使資料分析工作變得更加簡單的高階資料結構和操作工具
• matplotlib：是一個用於創建出版質量圖表的繪圖包（主要是2D方面）

import pandas as pd #匯入pandas
import numpy as np #匯入numpy
import matplotlib.pypolt as plt #匯入matplotlib

2. pandas儲存資料到Excel

to_excel() 例項方法：用於將DataFrame儲存到Excel

df.to_excel('檔名.xlsx', sheet_name = 'Sheet1') #其中df為DataFrame結構的資料，sheet_name = 'Sheet1'表示將資料儲存在Excel表的第一張表中

read_excel() 方法：從excel檔案中讀取資料

pd.read_excel('檔名.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

3. pandas儲存資料到csv檔案

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(6,3)) #建立隨機值並儲存為DataFrame結構
print(df.head())
df.to_csv('numpppy.csv')
 

實戰環節

結合之前學習的獲取資料、解析資料的知識，爬取《小王子》豆瓣短評的資料，並把資料儲存為本地的excel表格

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Sat Mar 17 17:18:35 2018

@author: Jackie
"""

import requests
from lxml import etree
import pandas as pd


urls = ['https://book.douban.com/subject/1084336/comments/hot?p={}'.format(str(i)) for i in range(1,6)]

comments = []

for url in urls:
    r = requests.get(url).text
    s = etree.HTML(r)
    file = s.xpath('//div[@class="comment"]/p/text()')
    comments += file


df = pd.DataFrame(comments)
print(df.head())
#df.to_excel('comment.xlsx')
 

結果：