上一篇說道我們要采集http://www.gg4493.cn/的數據，接下來：

步驟2：對於每一個鏈接，獲取它的網頁內容。

很簡單，只需要打開urls.txt文件，一行一行地讀出來就可以了。
也許這裏會顯得多此一舉，但是基於我對解耦的強烈願望，我還是果斷地寫到文件裏了。後面如果采用面向對象編程，重構起來是十分方便的。
獲取網頁內容部分也是相對簡單的，但是需要把網頁的內容都保存到一個文件夾裏。
這裏有幾個新的用法：
復制代碼 代碼如下:


os.getcwd()#獲得當前文件夾路徑
os.path.sep#當前系統路徑分隔符（是這個叫法嗎？）windows下是“\”，linux下是“/”
#判斷文件夾是否存在，如果不存在則新建一個文件夾
if os.path.exists(‘newsdir‘) == False:
os.makedirs(‘newsdir‘)
#str()用來將某個數字轉為字符串
i = 5
str(i)
有了這些方法，將字符串保存到某個文件夾下不同的文件就不再是一件困難的事了。
步驟3：枚舉每一個網頁，根據正則匹配獲得目標數據。
下面的方法是用來遍歷文件夾的。
復制代碼 代碼如下:


#這個是用來遍歷某個文件夾的
for parent, dirnames, filenames in os.walk(dir):
for dirname in dirnames
print parent, dirname
for filename in filenames:
print parent, filename
遍歷，讀取，匹配，結果就出來了。
我使用的數據提取的正則表達式是這樣的：
復制代碼 代碼如下:


reg = ‘<div class="hd">.*?<h1>(.*?)</h1>.*?<span class="pubTime">(.*?)</span>.*?<a .*?>(.*?)</a>.*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)</div>‘
其實這個並不能匹配到所有內容，因為上面的新聞有兩種格式，標簽有一點差別，所以只能提取出一種。
另外一點就是通過正則表達式的提取肯定不是主流的提取方法，如果需要采集其他網站，就需要變更正則表達式，這可是一件比較麻煩的事情。
提取之後觀察可知，正文部分總是會參雜一些無關信息，比如“<script>...</script>”“<p></p>”等等。所以我再通過正則表達式將正文切片。
復制代碼 代碼如下:


def func(str):#誰起的這個名字
strs = re.split("<style>.*?</style>|<script.*?>.*?</script>|&#[0-9]+;|<!--

>.+?<!

-->|<.*?>", str)#各種匹配，通過“|”分隔
ans = ‘‘
#將切分的結果組合起來
for each in strs:
ans += each
return ans
這樣網頁上面的正文基本全部能夠提取出來。
到此整個采集也就結束了。

來源:http://www.m4493.com

Python采集實例2