爬取的網站資訊

  <div class="section"><a id="zhb" name="zhb"></a>
    <div class="title t2"><h1><img src="images/title2.png" alt="綜合榜" /></h1></div>

    <div class="conBox zhb" id="Tabs_zhb">
      <div class="tabNav clearfix">
        <a class
 
="tabs_zhb"><p>1-10</p></a>
        <a class="tabs_zhb"><p>11-20</p></a>
        <a class="tabs_zhb"><p>21-30</p></a>
        <a class="tabs_zhb"><p>31-40</p></a>
        <a class="tabs_zhb"><p>41-50</p></a
 
>
      </div>

      <div class="tabCon">
        <div class="zhbCon tabBox table2">
          <table cellpadding="0" cellspacing="0" width="100%">
            <tr>
              <th width="5%">名次</th>
              <th width="25%">學校名稱</th>
              <th
 
 width="8%">型別</th>
              <th width="8%">所在地區</th>
              <th width="8%">總分</th>
              <th width="13%">辦學型別</th>
              <th width="8%">星級排名</th>
              <th width="15%">辦學層次</th>
            </tr>
            <tr>
              <td>1</td>
              <td><a href="http://souky.eol.cn/HomePage/index_147.html">北京大學</a></td>
              <td>綜合</td>
              <td>北京</td>
              <td>100.00</td>
              <td>中國研究型</td>
              <td>7星級</td>
              <td>世界知名高水平大學</td> 
            </tr>
            <tr class="c2">
              <td>2</td>
              <td><a href="http://souky.eol.cn/HomePage/index_5.html">清華大學</a></td>
              <td>理工</td>
              <td>北京</td>
              <td>98.50 </td>
              <td>中國研究型</td>
              <td>7星級</td>
              <td>世界知名高水平大學</td>
            </tr>
            <tr>
              <td>3</td>
              <td><a href="http://souky.eol.cn/HomePage/index_254.html">復旦大學</a></td>
              <td>綜合</td>
              <td>上海 </td>
              <td>82.79 </td>
              <td>中國研究型</td>
              <td>6星級</td>
              <td>中國頂尖大學</td>
            </tr>

從網頁原始碼中可以看到，需要的資訊位於<div class="conBox zhb" id="Tabs_zhb">標籤的子孫代標籤中的<tr>標籤下的各個<td>標籤中，因此寫下如下程式碼爬取，儲存並打印出相關資訊：

爬取程式碼編寫：

import requests
from bs4 import BeautifulSoup

#從網路上獲取大學排名網頁的內容
def getHTMLtext(url):
    try:
        r=requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return(r.text)
    except:
        return('')

#提取網頁中的資訊到合適資料結構
def fillUnivList(ulist, html):
    soup=BeautifulSoup(html, 'html.parser')
    item=soup.find_all(id='Tabs_zhb', class_='conBox zhb')
    #尋找標籤<div class="conBox zhb" id="Tabs_zhb">
    table=item[0].find_all('table')
    #尋找上個標籤下的<table>標籤
    for item1 in table:
        tr=item1.find_all('tr')
        #尋找<table>標籤下的各個<tr>標籤
        for item in tr[1:]:
        #去掉第一個<tr>標籤，從第二個開始遍歷
            aim=item.contents
            #<tr>標籤下的內容，也就是各個<td>標籤
            if len(aim)>10:
                ulist.append([aim[1].string,
                              aim[3].find_all('a')[0].string,
                              aim[9].string])
#利用資料結構展示輸出結構
def printUnivList(ulist, num):
    tplt='{0:^10}\t{1:{3}^10}\t{2:^10}'
    #輸出的結構佈置
    print(tplt.format('大學綜合排名', '學校所在地', '總得分', chr(12288)))
    #chr(12288)是中文空格填充字元
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))

def main():
    unifo=[]
    url='http://www.eol.cn/html/ky/16phb/'
    html=getHTMLtext(url)
    fillUnivList(unifo, html)
    printUnivList(unifo, 40)#只列出40所學校的資訊
main()

執行結果：

  大學綜合排名        　　學校所在地　　　         總得分    
    1           　　　北京大學　　　        100.00  
    2           　　　清華大學　　　        98.50   
    3           　　　復旦大學　　　        82.79   
    4           　　　武漢大學　　　        82.43   
    5           　　　浙江大學　　　        82.38   
    6           　　中國人民大學　　        81.98   
    7           　　上海交通大學　　        81.76   
    8           　　　南京大學　　　        80.43   
    9           　國防科學技術大學　        80.31   
    10          　　　中山大學　　　        76.46   
    11          　　　吉林大學　　　        76.01   
    12          　中國科學技術大學　        75.14   
    13          　　華中科技大學　　        75.12   
    14          　　　四川大學　　　        74.99   
    15          　　北京師範大學　　        74.75   
    16          　　　南開大學　　　        74.46   
    17          　　西安交通大學　　        73.56   
    18          　　　中南大學　　　        73.13   
    19          　　　同濟大學　　　        72.85   
    20          　　　天津大學　　　        72.81   
    21          　哈爾濱工業大學　　        72.72   
    21          　　　山東大學　　　        72.72   
    23          　　　廈門大學　　　        72.23   
    24          　　　東南大學　　　        71.35   
    25          　北京航空航天大學　        70.58   
    26          　　　東北大學　　　        69.55   
    27          　　　重慶大學　　　        69.54   
    28          　　華東師範大學　　        69.52   
    29          　　大連理工大學　　        68.84   
    30          　　北京理工大學　　        68.72   
    31          　　華南理工大學　　        68.47   
    32          　　中國農業大學　　        68.05   
    33          　　　湖南大學　　　        68.03   
    34          　　華中師範大學　　        67.92   
    35          　　西北工業大學　　        67.77   
    36          　　　蘭州大學　　　        67.21   
    37          　　電子科技大學　　        66.88   
    38          　　武漢理工大學　　        66.60   
    39          　　中國地質大學　　        66.56   
    40          　　東北師範大學　　        66.50