python寫入MySQL資料庫
阿新 • • 發佈：2018-12-02
這次給大家帶來的是將python爬取的資料寫入資料庫
將爬取得資料寫入資料庫的步驟：
- 連線資料庫；
- 建立表
- 將資料寫入資料庫；
- 關閉資料庫。
1.連線資料庫
在連線自己的資料庫之前我們應先匯入import MySQLdb模組
- host：自己的主機號，一般寫127.0.0.1就可以了
- port：埠號
- user：root
- passwd：密碼
- db：連線的資料庫名稱
- charset：編碼
import MySQLdb conn = MySQLdb.Connect(host = '127.0.0.1', port = 3306, user = 'root', passwd = '*******', db = '******', charset='utf8')
2.建立表
- cursor()： 使用該連結建立並返回的遊標
- execute()：執行一個數據庫查詢和命令
- commit()：提交但前事物（寫入資料時也會用到）
cur = conn.cursor()
sql = """CREATE TABLE xiaoshuo(
title CHAR(20),
sec_title CHAR(20),
content VARCHAR(6499))"""
cur.execute(sql)
conn.commit()
3.寫入資料庫
這裡有兩種方法寫入：
第一種：
into = "INSERT INTO scrapy_yilong2(title,author,comment,`time`) VALUES (%s,%s, %s, %s)"
values = (item['title'],item['author'],item['comment'],item['time'])
cur.execute(into, values)
conn.commit()
第二種：
cur.execute("INSERT INTO scrapy_yilong2(title,author,comment,`time`) VALUES (%s,%s, %s, %s);%(item['title'],item['author'],item['comment'],item['time'])) conn.commit()
但是建議大家使用第一種，第一種比較規範
還有就是，傳入資料後記得提交，也就是commit()函式要記得寫
4.關閉資料庫
conn.close()
在這裡，給大家一個完整的例項，以供大家體會，下面這個例子是爬取多本小說，並寫入資料庫
如果大家想更加的瞭解這個程式碼，可以檢視我的上一篇部落格上一篇：爬取多本小說並寫入多個txt文件
# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import requests
import re
import MySQLdb
#解決出現的寫入錯誤
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
#可以獲取多本文章
MAX_RETRIES = 20
url = 'http://eutils.ncbi.nlm.nih.gov/entrez/eutils/einfo.fcgi'
session = requests.Session()
adapter = requests.adapters.HTTPAdapter(max_retries=MAX_RETRIES)
session.mount('https://', adapter)
session.mount('http://', adapter)
r = session.get(url)
print('連線到mysql伺服器...')
conn = MySQLdb.connect(host='127.0.0.1', user='root', passwd='123mysql', db='onefive',charset='utf8')
print('連線上了!')
cur = conn.cursor()
#判斷表是否存在，若存在則刪除此表
cur.execute("DROP TABLE IF EXISTS AGENT")
#建立表
sql = """CREATE TABLE xiaoshuo(
title CHAR(20),
sec_title CHAR(20),
content VARCHAR(6499))"""
cur.execute(sql)
conn.commit()
#爬取首頁各小說連結，並寫入列表
url1 = 'http://www.biquge.com.tw/'
html = requests.get(url1).content
soup = BeautifulSoup(html,'html.parser')
article = soup.find(id="main")
texts = []
for novel in article.find_all(href=re.compile('http://www.biquge.com.tw/')):
#小說連結
nt = novel.get('href')
texts.append(nt)
#print nt #可供檢驗
new_text = []
for text in texts:
if text not in new_text:
new_text.append(text)
#將剛剛的列表寫入一個新列表，以供遍歷，獲取各個連結
h = []
h.append(new_text)
l = 0
for n in h:
while l<=len(n)-1:
#爬取小說的相關資訊及目錄和目錄連結
url2 = n[l]
html = requests.get(url2).content
soup = BeautifulSoup(html, 'html.parser')
a = []
#爬取相關資訊及目錄
for catalogue in soup.find_all(id="list"):
timu = soup.find(id="maininfo")
name1 = timu.find('h1').get_text()
tm = timu.get_text()
e_cat = catalogue.get_text('\n')
print name1
# print tm
# print e_cat
end1 = u'%s%s%s%s' % (tm, '\n', e_cat, '\n')
cur.execute("INSERT INTO xiaoshuo(title) VALUES ('%s');" % (name1))
conn.commit()
#爬取各章連結
for link in catalogue.find_all(href=re.compile(".html")):
lianjie = 'http://www.biquge.com.tw/' + link.get('href')
a.append(lianjie)
#將各章的連結列表寫入一個新列表，以供遍歷，獲取各章的列表
k = []
k.append(a)
j = 0
for i in k:
while j <= len(i) - 1:
#爬取各章小說內容
url = 'http://www.biquge.com.tw/14_14055/9194140.html'
finallyurl = i[j]
html = requests.get(finallyurl).content
soup = BeautifulSoup(html, 'html.parser')
tit = soup.find('div', attrs={'class': 'bookname'})
title = tit.h1
content = soup.find(id='content').get_text()
section = title.get_text()
print section
print content
j += 1
#end2 = u'%s%s%s%s' % (title , '\n' , content , '\n')
cur.execute("INSERT INTO xiaoshuo(sec_title,content) VALUES ('%s', '%s');" % (section, content))
conn.commit()
l+=1
conn.close()