#coding:utf-8
from bs4 import BeautifulSoup
import pymysql
import sqlite3
import sys
import importlib

importlib.reload(sys)

html = """
<ul class="nav_child"><li><a itemid="39" class="child_link" href="/list-39-1.shtml">北京</a></li>
<li><a itemid="59" class="child_link" href="/list-59-1.shtml">天津</a></li>
<li><a itemid="77" class="child_link" href="/list-77-1.shtml">河北</a></li>
<li><a itemid="80" class="child_link" href="/list-80-1.shtml">河南</a></li>
<li><a itemid="42" class="child_link" href="/list-42-1.shtml">山東</a></li>
<li><a itemid="88" class="child_link" href="/list-88-1.shtml">山西</a></li>
<li><a itemid="97" class="child_link" href="/list-97-1.shtml">內蒙古</a></li>
<li><a itemid="58" class="child_link" href="/list-58-1.shtml">遼寧</a></li>
<li><a itemid="52" class="child_link" href="/list-52-1.shtml">吉林</a></li>
<li><a itemid="82" class="child_link" href="/list-82-1.shtml">黑龍江</a></li>
</ul>
<ul class="nav_child"><li class="child_hd"></li>
<li><a itemid="41" class="child_link" href="/list-41-1.shtml">上海</a></li>
<li><a itemid="65" class="child_link" href="/list-65-1.shtml">江蘇</a></li>
<li><a itemid="61" class="child_link" href="/list-61-1.shtml">浙江</a></li>
<li><a itemid="78" class="child_link" href="/list-78-1.shtml">安徽</a></li>
<li><a itemid="90" class="child_link" href="/list-90-1.shtml">江西</a></li>
</ul>
<ul class="nav_child"><li class="child_hd"></li>
<li><a itemid="44" class="child_link" href="/list-44-1.shtml">廣東</a></li>
<li><a itemid="79" class="child_link" href="/list-79-1.shtml">廣西</a></li>
<li><a itemid="56" class="child_link" href="/list-56-1.shtml">湖南</a></li>
<li><a itemid="46" class="child_link" href="/list-46-1.shtml">湖北</a></li>
<li><a itemid="92" class="child_link" href="/list-92-1.shtml">福建</a></li>
<li><a itemid="hn" class="child_link" href="http://bbs.hainan.net/list-hn-1.shtml">海南</a></li>
</ul>
<ul class="nav_child"><li class="child_hd"></li>
<li><a itemid="45" class="child_link" href="/list-45-1.shtml">重慶</a></li>
<li><a itemid="63" class="child_link" href="/list-63-1.shtml">四川</a></li>
<li><a itemid="178" class="child_link" href="/list-178-1.shtml">貴州</a></li>
<li><a itemid="62" class="child_link" href="/list-62-1.shtml">雲南</a></li>
<li><a itemid="153" class="child_link" href="/list-153-1.shtml">西藏</a></li>
<li><a itemid="183" class="child_link" href="/list-183-1.shtml">甘肅</a></li>
<li><a itemid="60" class="child_link" href="/list-60-1.shtml">陝西</a></li>
<li><a itemid="191" class="child_link" href="/list-191-1.shtml">寧夏</a></li>
<li><a itemid="203" class="child_link" href="/list-203-1.shtml">青海</a></li>
<li><a itemid="173" class="child_link" href="/list-173-1.shtml">新疆</a></li>
</ul>
"""

soup = BeautifulSoup(html,'html.parser')
list = soup.find_all('a')
conn = pymysql.connect('localhost','zoe','1235789y','tianyadb',charset='utf8')
cursor = conn.cursor()
for l in list:
    try:
        print('there')
        sql = "insert into citys(city,c_url) values(%s,%s)"
        print(sql)
        cursor.execute(sql,(str(l.string),str('http://bbs.tianya.cn'+l['href']).encode('utf8')))
        print('ok')
        conn.commit()        
        
    except pymysql.Error as e:
        print('************error:',e)
        conn.rollback()
cursor.close()
conn.close()

以上為原始碼

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

其中遇到的問題

1：中文編碼問題

分為4步：1.Python檔案設定編碼（檔案前面加上 #encoding=utf-8)

                   2.設定資料庫編碼為utf-8，（charset=utf-8）

                   3.Python連線mysql資料庫時加上引數charset=‘utf8’

                   4.設定python的預設編碼是utf8(sys.setdefaultencoding(utf-8)）

                     注：Python3中取消了這種寫法，改用import importlib  importlib.reload(sys)

2.insert語句變數插入

在sql語句中將佔位符標好，然後cursor.execute()中將變數當做引數加入。（這種方式安全，使用Python字串傳參的方法後面加%，有sql注入的危險）

sql = "insert into citys(city,c_url) values(%s,%s)"
print(sql)
cursor.execute(sql,(str(l.string),str('http://bbs.tianya.cn'+l['href']).encode('utf8')))

3.錯誤異常處理

4.遊標指標cursor的位置問題