1. 程式人生 > >【Python入門只需20分鐘】從安裝到資料抓取、儲存原來這麼簡單

【Python入門只需20分鐘】從安裝到資料抓取、儲存原來這麼簡單

基於大眾對Python的大肆吹捧和讚賞,作為一名Java從業人員,看了Python的書籍之後,決定做一名python的腦殘粉。

作為一名合格的腦殘粉(標題黨  (ノ◕ω◕)ノ),為了發展我的下線,接下來我會詳細的介紹 Python 的安裝 到開發工具的簡單介紹,並編寫一個抓取天氣資訊資料並存儲到資料庫的例子。(這篇文章適用於完全不瞭解Python的小白超超超快速入門)

作者:旺旺筆記

源自:

https://www.cnblogs.com/zhaww/p/9517514.html#4049153

如果有時間的話,強烈建議跟著一起操作一遍,因為介紹的真的很詳細了。

1、Python 安裝

2、PyCharm(ide) 安裝

3、抓取天氣資訊

4、資料寫入excel

5、資料寫入資料庫

1、Python安裝

下載 Python: 官網地址: https://www.python.org/ 選擇download 再選擇你電腦系統,小編是Windows系統的 所以就選擇

2、Pycharm安裝

下載 PyCharm : 官網地址:http://www.jetbrains.com/pycharm/

免費版本的會有部分功能缺失,所以不推薦,所以這裡我們選擇下載企業版。

安裝好 PyCharm,首次開啟可能需要你 輸入郵箱 或者 輸入啟用碼

獲取免費的啟用碼:http://idea.lanyus.com/

3、抓取天氣資訊

我們計劃抓取的資料:杭州的天氣資訊,杭州天氣 可以先看一下這個網站。

實現資料抓取的邏輯:使用python 請求 URL,會返回對應的 HTML 資訊,我們解析 html,獲得自己需要的資料。(很簡單的邏輯)

第一步:建立 Python 檔案

寫第一段Python程式碼

if __name__ == '__main__':
    url = 'http://www.weather.com.cn/weather/101210101.shtml' 
    print('my frist python file')

這段程式碼類似於 Java 中的 Main 方法。可以直接滑鼠右鍵,選擇 Run。

第二步:請求RUL

python 的強大之處就在於它有大量的模組(類似於Java 的 jar 包)可以直接拿來使用。

我們需要安裝一個 request 模組: File - Setting - Product - Product Interpreter

點選如上圖的 + 號,就可以安裝 Python 模組了。搜尋 requests 模組(有 s 噢),點選 Install。

我們順便再安裝一個 beautifulSoup4 和 pymysql 模組,beautifulSoup4 模組是用來解析 html 的,可以物件化 HTML 字串。pymysql 模組是用來連線 mysql 資料庫使用的。

相關的模組都安裝之後,就可以開心的敲程式碼了。

定義一個 getContent 方法:

# 匯入相關聯的包
import requests
import time
import random
import socket
import http.client
import pymysql
from bs4 import BeautifulSoup

def getContent(url , data = None):
    header={
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
    } # request 的請求頭
    timeout = random.choice(range(80, 180))
    while True:
        try:
            rep = requests.get(url,headers = header,timeout = timeout) #請求url地址,獲得返回 response 資訊
            rep.encoding = 'utf-8'
            break
        except socket.timeout as e: # 以下都是異常處理
            print( '3:', e)
            time.sleep(random.choice(range(8,15)))

        except socket.error as e:
            print( '4:', e)
            time.sleep(random.choice(range(20, 60)))

        except http.client.BadStatusLine as e:
            print( '5:', e)
            time.sleep(random.choice(range(30, 80)))

        except http.client.IncompleteRead as e:
            print( '6:', e)
            time.sleep(random.choice(range(5, 15)))
    print('request success')
    return rep.text # 返回的 Html 全文

在 main 方法中呼叫:

if __name__ == '__main__':
    url ='http://www.weather.com.cn/weather/101210101.shtml'
    html = getContent(url) # 呼叫獲取網頁資訊
    print('my frist python file')

第三步:分析頁面資料

定義一個 getData 方法:

def getData(html_text):
    final = []
    bs = BeautifulSoup(html_text, "html.parser")  # 建立BeautifulSoup物件
    body = bs.body #獲取body
    data = body.find('div',{'id': '7d'})
    ul = data.find('ul')
    li = ul.find_all('li')

    for day in li:
        temp = []
        date = day.find('h1').string
        temp.append(date) #新增日期
        inf = day.find_all('p')
        weather = inf[0].string #天氣
        temp.append(weather)
        temperature_highest = inf[1].find('span').string #最高溫度
        temperature_low = inf[1].find('i').string  # 最低溫度
        temp.append(temperature_low)
     temp.append(temperature_highest)
        final.append(temp)
    print('getDate success')
    return final

上面的解析其實就是按照 HTML 的規則解析的。可以開啟 杭州天氣 在開發者模式中(F12),看一下頁面的元素分佈。

在 main 方法中呼叫:

if __name__ == '__main__':
    url ='http://www.weather.com.cn/weather/101210101.shtml'
    html = getContent(url)    # 獲取網頁資訊
    result = getData(html)  # 解析網頁資訊,拿到需要的資料
    print('my frist python file')

資料寫入excel

現在我們已經在 Python 中拿到了想要的資料,對於這些資料我們可以先存放起來,比如把資料寫入 csv 中。

定義一個 writeDate 方法:

import csv #匯入包

def writeData(data, name):
    with open(name, 'a', errors='ignore', newline='') as f:
            f_csv = csv.writer(f)
            f_csv.writerows(data)
    print('write_csv success')

在 main 方法中呼叫:

if __name__ == '__main__':
    url ='http://www.weather.com.cn/weather/101210101.shtml'
    html = getContent(url)    # 獲取網頁資訊
    result = getData(html)  # 解析網頁資訊,拿到需要的資料
    writeData(result, 'D:/py_work/venv/Include/weather.csv') #資料寫入到 csv文件中
    print('my frist python file')

執行之後呢,再指定路徑下就會多出一個 weather.csv 檔案,可以開啟看一下內容。

到這裡最簡單的資料抓取--儲存就完成了。

資料寫入資料庫

因為一般情況下都會把資料儲存在資料庫中,所以我們以 mysql 資料庫為例,嘗試著把資料寫入到我們的資料庫中。

第一步建立WEATHER 表:

建立表可以在直接在 mysql 客戶端進行操作,也可能用 python 建立表。在這裡 我們使用 python 來建立一張 WEATHER 表。

定義一個 createTable 方法:(之前已經匯入了 import pymysql 如果沒有的話需要匯入包)

def createTable():
    # 開啟資料庫連線
    db = pymysql.connect("localhost", "zww", "960128", "test")
    # 使用 cursor() 方法建立一個遊標物件 cursor
    cursor = db.cursor()
    # 使用 execute()  方法執行 SQL 查詢
    cursor.execute("SELECT VERSION()")
    # 使用 fetchone() 方法獲取單條資料.
    data = cursor.fetchone()
    print("Database version : %s " % data) # 顯示資料庫版本(可忽略,作為個栗子)

    # 使用 execute() 方法執行 SQL,如果表存在則刪除
    cursor.execute("DROP TABLE IF EXISTS WEATHER")
    # 使用預處理語句建立表
    sql = """CREATE TABLE WEATHER (
             w_id int(8) not null primary key auto_increment, 
             w_date  varchar(20) NOT NULL ,
             w_detail  varchar(30),
             w_temperature_low varchar(10),
             w_temperature_high varchar(10)) DEFAULT CHARSET=utf8"""  # 這裡需要注意設定編碼格式,不然中文資料無法插入
    cursor.execute(sql)
    # 關閉資料庫連線
    db.close()
  print('create table success')

在 main 方法中呼叫:

if __name__ == '__main__':
    url ='http://www.weather.com.cn/weather/101210101.shtml'
    html = getContent(url)    # 獲取網頁資訊
    result = getData(html)  # 解析網頁資訊,拿到需要的資料
    writeData(result, 'D:/py_work/venv/Include/weather.csv') #資料寫入到 csv文件中
    createTable() #表建立一次就好了,注意
    print('my frist python file')

執行之後去檢查一下資料庫,看一下 weather 表是否建立成功了。

第二步批量寫入資料至 WEATHER 表:

定義一個 insertData 方法:

def insert_data(datas):
    # 開啟資料庫連線
    db = pymysql.connect("localhost", "zww", "960128", "test")
    # 使用 cursor() 方法建立一個遊標物件 cursor
    cursor = db.cursor()

    try:
        # 批量插入資料
        cursor.executemany('insert into WEATHER(w_id, w_date, w_detail, w_temperature_low, w_temperature_high) value(null, %s,%s,%s,%s)', datas)

        # sql = "INSERT INTO WEATHER(w_id, \
        #                w_date, w_detail, w_temperature) \
        #                VALUES (null, '%s','%s','%s')" % \
        #       (data[0], data[1], data[2])
        # cursor.execute(sql)    #單條資料寫入

        # 提交到資料庫執行
        db.commit()
    except Exception as e:
        print('插入時發生異常' + e)
        # 如果發生錯誤則回滾
        db.rollback()
    # 關閉資料庫連線
    db.close()

在 main 方法中呼叫:

if __name__ == '__main__':
    url ='http://www.weather.com.cn/weather/101210101.shtml'
    html = getContent(url)    # 獲取網頁資訊
    result = getData(html)  # 解析網頁資訊,拿到需要的資料
    writeData(result, 'D:/py_work/venv/Include/weather.csv') #資料寫入到 csv文件中
    # createTable() #表建立一次就好了,注意
    insertData(result) #批量寫入資料
    print('my frist python file')

檢查:執行這段 Python 語句後,看一下資料庫是否有寫入資料。有的話就大功告成了。

全部程式碼看這裡:

# 匯入相關聯的包
import requests
import time
import random
import socket
import http.client
import pymysql
from bs4 import BeautifulSoup
import csv

def getContent(url , data = None):
    header={
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
    } # request 的請求頭
    timeout = random.choice(range(80, 180))
    while True:
        try:
            rep = requests.get(url,headers = header,timeout = timeout) #請求url地址,獲得返回 response 資訊
            rep.encoding = 'utf-8'
            break
        except socket.timeout as e: # 以下都是異常處理
            print( '3:', e)
            time.sleep(random.choice(range(8,15)))

        except socket.error as e:
            print( '4:', e)
            time.sleep(random.choice(range(20, 60)))

        except http.client.BadStatusLine as e:
            print( '5:', e)
            time.sleep(random.choice(range(30, 80)))

        except http.client.IncompleteRead as e:
            print( '6:', e)
            time.sleep(random.choice(range(5, 15)))
    print('request success')
    return rep.text # 返回的 Html 全文

def getData(html_text):
    final = []
    bs = BeautifulSoup(html_text, "html.parser")  # 建立BeautifulSoup物件
    body = bs.body #獲取body
    data = body.find('div',{'id': '7d'})
    ul = data.find('ul')
    li = ul.find_all('li')

    for day in li:
        temp = []
        date = day.find('h1').string
        temp.append(date) #新增日期
        inf = day.find_all('p')
        weather = inf[0].string #天氣
        temp.append(weather)
        temperature_highest = inf[1].find('span').string #最高溫度
        temperature_low = inf[1].find('i').string  # 最低溫度
        temp.append(temperature_highest)
        temp.append(temperature_low)
        final.append(temp)
    print('getDate success')
    return final

def writeData(data, name):
    with open(name, 'a', errors='ignore', newline='') as f:
            f_csv = csv.writer(f)
            f_csv.writerows(data)
    print('write_csv success')

def createTable():
    # 開啟資料庫連線
    db = pymysql.connect("localhost", "zww", "960128", "test")
    # 使用 cursor() 方法建立一個遊標物件 cursor
    cursor = db.cursor()
    # 使用 execute()  方法執行 SQL 查詢
    cursor.execute("SELECT VERSION()")
    # 使用 fetchone() 方法獲取單條資料.
    data = cursor.fetchone()
    print("Database version : %s " % data) # 顯示資料庫版本(可忽略,作為個栗子)

    # 使用 execute() 方法執行 SQL,如果表存在則刪除
    cursor.execute("DROP TABLE IF EXISTS WEATHER")
    # 使用預處理語句建立表
    sql = """CREATE TABLE WEATHER (
             w_id int(8) not null primary key auto_increment, 
             w_date  varchar(20) NOT NULL ,
             w_detail  varchar(30),
             w_temperature_low varchar(10),
             w_temperature_high varchar(10)) DEFAULT CHARSET=utf8"""
    cursor.execute(sql)
    # 關閉資料庫連線
    db.close()
    print('create table success')

def insertData(datas):
    # 開啟資料庫連線
    db = pymysql.connect("localhost", "zww", "960128", "test")
    # 使用 cursor() 方法建立一個遊標物件 cursor
    cursor = db.cursor()

    try:
        # 批量插入資料
        cursor.executemany('insert into WEATHER(w_id, w_date, w_detail, w_temperature_low, w_temperature_high) value(null, %s,%s,%s,%s)', datas)

        # 提交到資料庫執行
        db.commit()
    except Exception as e:
        print('插入時發生異常' + e)
        # 如果發生錯誤則回滾
        db.rollback()
    # 關閉資料庫連線
    db.close()
    print('insert data success')

if __name__ == '__main__':
    url ='http://www.weather.com.cn/weather/101210101.shtml'
    html = getContent(url)    # 獲取網頁資訊
    result = getData(html)  # 解析網頁資訊,拿到需要的資料
    writeData(result, 'D:/py_work/venv/Include/weather.csv') #資料寫入到 csv文件中
    # createTable() #表建立一次就好了,注意
    insertData(result) #批量寫入資料
    print('my frist python file')