導包

import chardet,re,json,pymysql
from urllib import request,parse

from piaot import *

Mysql

def sql(sql_z):

    # 開啟資料庫連線
    db = pymysql.connect("192.168.43.128", "root", "123456", "boss", charset='utf8')

    # 使用 cursor() 方法建立一個遊標物件 cursor
    cursor = db.cursor()

    # 使用 execute()  方法執行 SQL 查詢
    cursor.execute('')

    # 使用 fetchone() 方法獲取單條資料.
    data = cursor.fetchone(sql_z)

    print("Database version : %s " % data)
    # print(x)
    # 關閉資料庫連線
    db.close()
 

mysql查詢

def sql_cx(sql_z):

    # 開啟資料庫連線
    db = pymysql.connect("192.168.43.128", "root", "123456", "boss", charset='utf8')

    # 使用 cursor() 方法建立一個遊標物件 cursor
    cursor = db.cursor()

    # 使用 execute()  方法執行 SQL 查詢
    data=cursor.execute(sql_z)

    # print("Database version : %s " % data)

    # 關閉資料庫連線
    db.close()
    return data
 

查詢城市編號

def chengshi(sheng,shi):
    if shi == None:
        shi=sheng

    url = 'http://www.zhipin.com/common/data/city.json'

    # 呼叫自定義包
    req = yc(url)
    ll = chardet.detect(req)
    html = req.decode(ll['encoding'])

    # 用json解碼
    html=json.loads(html)

    b=[]
    for j in html['data']['cityList']:
        if j['name'] == sheng:
            for i in j['subLevelModelList']:
                if i['name'] == shi:
                    b.append((i['name'],i['code']))

    # 返回格式：['保定',101091100]
    return b
 

爬取要查詢的名稱列表頁,引數：省/城市，區/縣，查詢內容，頁數

def pq_xx(sheng,qu,nr,ye):

    # 將name值轉成url編碼
    name = parse.quote(nr)
    for i in range(1,ye+1):

        if qu == None:

            # 拼接url地址
            url = 'http://www.zhipin.com/job_detail/?query={}&scity={}&page={}'.format(name,sheng[0][1],ye)

        else:

            # 將城市值轉成url編碼
            qu = parse.quote(qu)
            # 拼接url地址
            url='http://www.zhipin.com/c{}/b_{}-h_{}/?query={}&page={}'.format(sheng[0][1],qu,sheng[0][1],name,ye)

        pq_lb_nr(url)

爬取列表裡的內容

def pq_lb_nr(url):

    req=yc(url)
    ll=chardet.detect(req)
    html=req.decode(ll['encoding'])

    zz='<h3 class="name">\s*?<a href="(.*?)"'

    nr_str=re.compile(zz)

    html=nr_str.findall(html)

    for i in html:
        url_l='http://www.zhipin.com'+i
        pq_nr(url_l)

爬取內容資訊

def pq_nr(url):
   try:
        # 提交申請，呼叫自定義包
        req = yc(url)

        # 自動檢測編碼格式
        ll = chardet.detect(req)

        # 轉碼
        html = req.decode(ll['encoding'])

        # 正則
        zz = 'ka="job-breadcrumb-top4">(.*?)</a>|<span class="time">(.*?)</span>|<span class="badge">(.*?)</span>|<p>(.*?)<em class="vline"></em>(.*?)<em class="vline"></em>(.*?)</p>'
        str_1 = re.compile(zz)
        html_1 = str_1.findall(html)

        # 將獲得標題的資訊進行去除空值
        x = []
        for i in html_1:
            for j in i:
                if j != '':

                    x.append((j.split('：')[-1]))

        x.pop(-2)
        # x值是清洗好的值
        # print(x)

        # 正則,獲得內容裡的崗位職責和任職要求和地址圖片
        zz_1 = 'div class="text">\s*(.*?)\s*?</div>|data-content="(.*?)">\s*<img src="(.*?)" alt='

        ll_2 = re.compile(zz_1)
        html_2 = ll_2.findall(html)

        # 將匹配完的資訊進行清洗，去除<br\>和去空
        x_1 = []
        for i in html_2:
            for j in i:
                if j != '':
                    b = j.replace('<br/>', '')
                    x_1.append((b,))

        # x_1清洗完的值
        # print(x_1)

     # 如果報錯或代理失效
    except:
        # 重新呼叫
        pq_nr(url)

    # sql查詢語句
    sql_cx_str="select uid from boss_cs WHERE uid='{}'".format(url)
    if sql_cx(sql_cx_str) == 0:

        # 進行儲存sql語句
        sql_str="insert into boss_cs(uid,uname,shij,chengshi,jyan,xueli,tozi,gsrshu,yunx,yaoq,gsxx,gsweizhi,weizhitxiang) values('{}','{}','{}','{}','{}','{}','{}','{}','{}','{}','{}','{}','{}');".format(url,x[0],x[1],x[2],x[3],x[4],x[5],x[6],x[7],x_1[0][0],x_1[1][0]+x_1[2][0],x_1[-2][0],x_1[-1][0])
        print(sql_str)
        # 呼叫mysql
        sql(sql_str)
    else:
        pass

主函式

def boss():

    # 呼叫查詢城市函式
    print('BOSS直聘')

    sheng=input('請輸入你查詢的省：')
    print('--'*20)
    shi=input('請輸入查詢尋城市（預設無）：')
    print('--' * 20)
    qu=input('請輸入區或縣（預設：空）')
    print('--' * 20)
    nr=input('請輸入查詢內容：')
    print('--' * 20)
    ye=int(input('請輸入頁數：'))
    if len(shi) == 0:
        shi=None
    if len(qu) == 0:
        qu=None

    url=chengshi(sheng,shi)

    # # 值1是：遍歷出的輸入的城市編號，值2：輸入的區或縣名稱，值3：輸入查詢的內容名稱，值4：頁數
    pq_xx(url,qu,nr,ye)

if name == ‘main‘:

呼叫函式

boss()