最近要跟著同學做一個小專案，需要自己找語料庫，於是我用python 的 beautifulsoup 和urllib 來抓取一些網頁內容來做訓練語料。現在寫下來備忘，雖然還有些不足。

這裡，我抓取的是鳳凰軍事的滾動新聞，點開後可以發現是一系列的新聞連結，所以接下來就分兩個方面的工作，第一個是將這些新聞連結全部提取出來，儲存文字。第二個是根據這些連結訪問網頁，抓取正文內容，再儲存文字。

提取新聞連結

通過分析滾動新聞的網頁原始碼，發現這些超連結都是在<div class = "main"> </div>標籤之間（不同網站有不同的格式），用beautifulsoup來提取比較好，若用urllib容提取到其他url，不易區分。

我們在滾動新聞下方會發現有“下一頁”和“前一天”的標籤，於是我們的思路是：本頁的url提取完，如果有“下一頁”標籤，就將其url拿出來訪問，在提取url，若沒有“下一頁”標籤，則取出“前一天”標籤的url來訪問，就這樣迴圈往下提取url，直到你認為夠用了為止。（我做了100次的迴圈，大約爬了3800個url）

程式碼如下：

#encoding=utf-8
#coding=utf-8
import urllib,urllib2  
from bs4 import BeautifulSoup
import re
import os
import string


#得到url的list
def get_url_list(purl):
    #連線
    req = urllib2.Request(purl,headers={'User-Agent':"Magic Browser"})
    page = urllib2.urlopen(req)  
    soup = BeautifulSoup(page.read())
    #讀取標籤
    a_div = soup.find('div',{'class':'main'})
    b_div = a_div.find('div',{'class':'left'})
    c_div = b_div.find('div',{'class':'newsList'})
    
    links4 = []
    #得到url的list
    for link_aa in c_div:
        for link_bb in link_aa:
            links4.append(link_bb.find('a'))
            
    links4 = list(set(links4))
    links4.remove(-1)
    links4.remove(None)

    return links4

#從list中找到想要的新聞連結
#找到要訪問的下一個頁面的url
def get_url(links):

    url = []
    url2 = ''
    url3 = ''
    url4 = ''
    
    i = 0

    for link in links:
        

        if link.contents == [u'後一天']:
            continue
        
        #上一頁  和  下一頁 的標籤情況比較複雜
        #取出“上一頁”標籤的url（貌似不管用）
        if str(link.contents).find(u'/> ') != -1:
            continue

        #取出“下一頁”標籤的url
        if str(link.contents).find(u' <img') != -1:
            url2 = link.get("href")
            i = 1
            continue
        
        if link.contents == [u'前一天']:
            url3 = link.get("href")
            continue
    
        url.append(link.get("href"))

    if(i == 1):
        url4 = url2
    else:
        url4 = url3

    return url , url4

def main():

    link_url = []
    link_url_all = []
    link_url_all_temp = []
    
    next_url = ''

    #開始的url
    purl = 'http://news.ifeng.com/listpage/4550/20140903/1/rtlist.shtml'
    link_url = get_url_list(purl)
    link_url_all , next_url = get_url(link_url)

    #做了100次迴圈
    for i in range(100):
        link_url = get_url_list(next_url)
        link_url_all_temp , next_url = get_url(link_url)
        
        link_url_all = link_url_all + link_url_all_temp

    #將全部url存檔
    path = 'd:\\url.txt'
    fp = open(path,'w')
    for link in link_url_all:
        fp.write(str(link)+'\n')
    fp.close()
    
if __name__ == '__main__':
    main()


    
 

在查詢“上一頁”和“下一頁”標籤時遇到了編碼問題，還好解決了，如程式所示。

提取網頁內容正文

有了上面的一系列的url，就可以提取內容了。

和上面一樣，先看一下網頁原始碼，確定正文內容都在哪些標籤內。我們發現，正文內容都在<div id = "artical_real"  class = "js_img_share_area">  </div>中間，然後用beautifulsoup來提取。（有些新聞是圖片或視訊，格式與文字不一樣，我們去掉不管）

不過這裡有兩個trick，一是正文內容都在<p>  </p>標籤內，怎麼把它取出來，二是有一些網頁的<p> </p>還有其他標籤，怎麼去掉，下面的程式碼裡有

程式碼如下：

#encoding=utf-8
#coding=utf-8

import urllib,urllib2  
from bs4 import BeautifulSoup
import re
import os
import string



links = []

path = 'd:\\url3.txt'
file = open(path,'r')

#得到url
for line in file:
    links = links + [line]

file.close()

print len(links)

i = 1
for link in links:
    print link
    req = urllib2.Request(link,headers={'User-Agent':"Magic Browser"})
    page = urllib2.urlopen(req)
    soup = BeautifulSoup(page.read())
    
    a_div = soup.find('div',{'id':'artical_real'},{'class':'js_img_share_area'})

    if a_div == None:
        continue
    b_div = a_div.find('div',{'id':'main_content'},{'class':'js_selection_area'})

    if b_div == None:
        continue

    kk = b_div.findAll('p')

    if kk == []:
        continue
    
    ss = str(kk)
    ss = ''.join(ss)

    my_cn = re.sub('<span(.*?)</span>','',ss)
    my_cn = ''.join(my_cn)
    my_cn = re.sub('<a(.*?)</a>','',my_cn)
    my_cn = ''.join(my_cn)
    my_cn = re.sub('<strong>(.*?)</strong>','',my_cn)
    my_cn = ''.join(my_cn)
    my_cn = re.findall('<p>(.*?)</p>',my_cn)
    my_cn = ''.join(my_cn)

    pth = 'd:\\webcontext\\'+str(i)+'.txt'
    fp = open(pth,'w')
    
    fp.writelines(my_cn)
    fp.close()

    i = i + 1

    page.close()
    

總結

在執行時，程式常有卡住或是報錯的情況，分析後發現或是網路不好，或是伺服器不好，這時將程式重新執行一下就好了。當然，在url的檔案裡把那些已訪問過的刪掉，從最近一個未訪問的url開始，還要在上面的程式碼中將i從最新的下標開始，以免覆蓋原檔案。