其中 網頁 -i 變量 oba cati nod style 應該

[html] view plain copy

1. 最近總是要爬取一些東西，索性就把Python爬蟲的相關內容都總結起來了，自己多動手還是好。

（1）普通的內容爬取
（2）保存爬取的圖片/視頻和文件和網頁
（3）普通模擬登錄
（4）處理驗證碼登錄
（5）爬取js網站
（6）全網爬蟲
（7）某個網站的站內所有目錄爬蟲
（8）多線程
（9）爬蟲框架Scrapy


一，普通的內容爬取
[html] view plain copy

1. #coding=utf-8
2. import urllib
3. import urllib2
4. url = ‘http://www.dataanswer.top‘
5. headers = {
6. ‘Host‘:‘www.dataanswer.top‘,
7. ‘User-Agent‘:‘Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:31.0) Gecko/20100101 Firefox/31.0‘,
8. #‘Accept‘:‘application/json, text/javascript, */*; q=0.01‘,
9. #‘Accept-Language‘:‘zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3‘,
10. #‘Accept-Encoding‘:‘gzip,deflate‘,
11. #‘Referer‘:‘http://www.dataanswer.top‘
12. }
13. request = urllib2.Request(url,headers=headers)
14. response = urllib2.urlopen(request)
15. page = response.read()
16. print page

二，保存爬取的圖片/視頻和文件和網頁
#圖片/視頻和文件和網頁的地址抓取下來後，利用模塊urllib裏的urlretrieve()方法下載下來：
[html] view plain copy

1. #coding=utf-8
2. import urllib
3. import urllib2
4. import os
5. def getPage(url):
6. request = urllib2.Request(url)
7. response = urllib2.urlopen(request)
8. return response.read()
11. url=‘http://www.dataanswer.top/‘
12. result=getPage(url)
13. file_name=‘test.doc‘
14. file_path=‘doc‘
15. if os.path.exists(file_path) == False:
16. os.makedirs(file_path)
17. local=os.path.join(file_path,file_name)
18. f = open(local,"w+")
19. f.write(result)
20. f.close()
23. #coding=utf-8
24. import urllib
25. import urllib2
26. import os
27. def getPage(url):
28. request = urllib2.Request(url)
29. response = urllib2.urlopen(request)
30. return response.read()
33. url=‘http://www.dataanswer.top/‘ #把該地址改成圖片/文件/視頻/網頁的地址即可
34. result=getPage(url)
35. file_name=‘test.doc‘
36. file_path=‘doc‘
37. if os.path.exists(file_path) == False:
38. os.makedirs(file_path)
39. local=os.path.join(file_path,file_name)
40. urllib.urlretrieve(local)

三,普通模擬登錄
[html] view plain copy

1. import urllib
2. import urllib2
3. import cookielib
5. filename = ‘cookie.txt‘
6. #聲明一個MozillaCookieJar對象實例來保存cookie，之後寫入文件
7. cookie = cookielib.MozillaCookieJar(filename)
8. opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
9. postdata = urllib.urlencode({
10. ‘name‘:‘春天裏‘,
11. ‘pwd‘:‘1222222‘
12. })
13. #登錄的URL
14. loginUrl = ‘http://www.dataanswer.top/LoginService?action=tologin‘
15. #模擬登錄，並把cookie保存到變量
16. result = opener.open(loginUrl,postdata)
17. #保存cookie到cookie.txt中
18. cookie.save(ignore_discard=True, ignore_expires=True)
19. #利用cookie請求訪問另一個網址
20. gradeUrl = ‘http://www.dataanswer.top/LoginService?action=myHome‘
21. #請求訪問
22. result = opener.open(gradeUrl)
23. print result.read()

四，處理驗證碼登錄
#先把驗證碼圖片下載下來保存，再人工讀入
[html] view plain copy

1. #coding=utf-8
2. import sys, time, os, re
3. import urllib, urllib2, cookielib
4. loginurl = ‘https://www.douban.com/accounts/login‘
5. cookie = cookielib.CookieJar()
6. opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
7. params = {
8. "form_email":"13161055481",
9. "form_password":"wwwwwww",
10. "source":"index_nav" #沒有的話登錄不成功
11. }
12. #從首頁提交登錄
13. response=opener.open(loginurl)
14. #驗證成功跳轉至登錄頁
15. print(response.geturl())
16. if response.geturl() == "https://www.douban.com/accounts/login":
17. html=response.read()
18. print(html)
19. #驗證碼圖片地址--圖片地址加密怎麽辦？？？
20. imgurl=re.search(‘<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>‘, html)
21. print(imgurl)
22. if imgurl:
23. url=imgurl.group(1)
24. #將圖片保存至同目錄下
25. res=urllib.urlretrieve(url,‘v.jpg‘)
26. #獲取captcha-id參數
27. captcha=re.search(‘<input type="hidden" name="captcha-id" value="(.+?)"/>‘,html)
28. if captcha:
29. vcode=raw_input(‘請輸入圖片上的驗證碼：‘)
30. params["captcha-solution"]=vcode
31. params["captcha-id"]=captcha.group(1)
32. params["user_login"]="登錄"
33. #提交驗證碼驗證
34. response=opener.open(loginurl, urllib.urlencode(params))
35. ‘‘‘ 登錄成功跳轉至首頁 ‘‘‘
36. if response.geturl() == "https://www.douban.com/":
37. print ‘login success ! ‘
38. print ‘準備進行發帖‘
39. addtopicurl="http://www.douban.com/group/python/new_topic"
40. res=opener.open(addtopicurl)
41. html=res.read()
42. else:
43. print("Fail3")
44. else:
45. print("Fail2")
46. else:
47. print("Fail1")
48. else:
49. print("Fail0")

五，爬取js網站
#利用selenium模擬瀏覽器，結合html的解析
[html] view plain copy

1. #coding=utf-8
2. #1、安裝 python-pip
3. #sudo apt-get install python-pip
4. #2、安裝selenium
5. #sudo pip install -U selenium
8. from selenium import webdriver
9. driver = webdriver.Firefox()
10. driver.get(‘http://www.newsmth.net/nForum/#!article/Intern/206790‘)
11. html=driver.page_source.encode(‘utf-8‘,‘ignore‘) #這個函數獲取頁面的html
12. print(html)
13. driver.close()

六，全網爬蟲
#廣度優先，模擬爬取隊列
[html] view plain copy

1. #coding=utf-8
2. """
3. 全網爬取所有鏈接，包括外鏈--廣度優先
4. """
5. import urllib2
6. import re
7. from bs4 import BeautifulSoup
8. import time
11. #爬蟲開始的時間
12. t=time.time()
13. #設置的暫停爬取條數
14. N_STOP=10
17. #存放已經爬取過的url
18. CHECKED_URL=[]
19. #存放待爬取的url
20. CHECKING_URL=[]
21. #存放連接失敗的url
22. FAIL_URL=[]
23. #存放不能連接的url
24. ERROR_URL=[]
25. #失敗後允許連接的次數
26. RETRY=3
27. #連接超時時間
28. TIMEOUT=20
31. class url_node:
32. def __init__(self,url):
33. """
34. url節點初始化
35. ：param url:String 當前url
36. """
37. self.url=url
38. self.content=‘‘
41. def __is_connectable(self):
42. """
43. 檢驗url是否可以連接
44. """
45. #在允許連接次數下連接
46. for i in range(RETRY):
47. try:
48. #打開url沒有報錯，則表示可連接
49. response=urllib2.urlopen(self.url,timeout=TIMEOUT)
50. return True
51. except:
52. #如果在嘗試允許連接次數下報錯，則不可連接
53. if i==RETRY-1:
54. return False
57. def get_next(self):
58. """
59. 獲取爬取該頁中包含的其他所有的url
60. """
61. soup=BeautifulSoup(self.content)
62. #******************在此處可以從網頁中解析你想要的內容************************************
63. next_urls=soup.findAll(‘a‘)
64. if len(next_urls)!=0:
65. for link in next_urls:
66. tmp_url=link.get(‘href‘)
67. #如果url不在爬取過的列表中也不在待爬取列表中則把其放到待爬列表中（沒有確保該url有效）
68. if tmp_url not in CHECKED_URL and tmp_url not in CHECKING_URL:
69. CHECKING_URL.append(tmp_url)
71. def run(self):
72. if self.url:
73. if self.__is_connectable():
74. try:
75. #獲取爬取頁面的所有內容
76. self.content=urllib2.urlopen(self.url,timeout=TIMEOUT).read()
77. #從該頁面中獲取url
78. self.get_next()
81. except:
82. #把連接失敗的存放起來
83. FAIL_URL.append(self.url)
84. print(‘[!]Connect Failed‘)
85. else:
86. #把不能連接的存放起來
87. ERROR_URL.append(self.url)
88. else:
89. print("所給的初始url有問題！")
92. if __name__==‘__main__‘:
93. #把初始的url放到待爬的列表中
94. CHECKING_URL.append(‘http://www.36dsj.com/‘)
95. #不斷的從待爬的列表中獲取url進行爬取
96. ff=open("Mytest.txt",‘w‘)
97. i=0
98. for url in CHECKING_URL:
99. #對該url進行爬取
100. url_node(url).run()
101. #存放已經爬取過的url
102. CHECKED_URL.append(url)
103. #刪除CHECKING_URL中已經爬取過的url
104. CHECKING_URL.remove(url)
107. i+=1
108. if i==N_STOP:
109. #打出停止時的url，下次可以把該url作為初始繼續
110. print url
111. print("爬取過的列表長度：%d") % len(CHECKED_URL)
112. print("待爬取的列表長度：%d") % len(CHECKING_URL)
113. print("連接失敗的列表長度：%d") % len(FAIL_URL)
114. print("不能連接的列表長度：%d") % len(ERROR_URL)
115. break
116. ff.close()
117. print("time:%d s") % (time.time()-t)

七，某個網站的站內所有目錄爬蟲
#把縮寫的站內網址還原
[html] view plain copy

1. #coding=utf-8
2. """
3. 爬取同一個網站所有的url,不包括外鏈
4. """
5. import urllib2
6. import re
7. from bs4 import BeautifulSoup
8. import time
10. t=time.time()
12. HOST=‘‘
13. CHECKED_URL=[]
14. CHECKING_URL=[]
15. RESULT=[]
16. RETRY=3
17. TIMEOUT=20
19. class url_node:
20. def __init__(self,url):
21. """
22. url節點初始化
23. ：param url:String 當前url
24. """
25. self.url=self.handle_url(url,is_next_url=False)
26. self.next_url=[]
27. self.content=‘‘
30. def handle_url(self,url,is_next_url=True):
31. """
32. 將所有的url處理成標準形式
33. """
34. global CHECKED_URL
35. global CHECKING_URL
37. #去掉尾部的‘/’
38. url=url[0:len(url)-1] if url.endswith(‘/‘) else url
40. if url.find(HOST)==-1:
41. if not url.startswith(‘http‘):
42. url=‘http://‘+HOST+url if url.startswith(‘/‘) else ‘http://‘+HOST+‘/‘+url
43. else:
44. #如果含有http說明是外鏈，url的host不是當前的host，返回空
45. return
46. else:
47. if not url.startswith(‘http‘):
48. url=‘http://‘+url
51. if is_next_url:
52. #下一層url放入待檢測列表
53. if url not in CHECKING_URL:
54. CHECKING_URL.append(url)
55. else:
56. #對於當前需要檢測的url將參數都替換為1，然後加入規則表
57. #參數相同類型不同的url只檢測一次
58. rule=re.compile(r‘=.*?\&|=.*?$‘)
59. result=re.sub(rule,‘=1&‘,url)
60. if result in CHECKED_URL:
61. return ‘[!] Url has checked!‘
62. else:
63. CHECKED_URL.append(result)
64. RESULT.append(url)
65. return url
68. def __is_connectable(self):
69. print("進入__is_connectable()函數")
70. #檢驗是否可以連接
71. retry=3
72. timeout=2
73. for i in range(RETRY):
74. try:
75. #print("進入_..............函數")
76. response=urllib2.urlopen(self.url,timeout=TIMEOUT)
77. return True
79. except:
80. if i==retry-1:
81. return False
84. def get_next(self):
85. #獲取當前所有的url
86. #print("進入get_next()函數")
87. soup=BeautifulSoup(self.content)
88. next_urls=soup.findAll(‘a‘)
89. if len(next_urls)!=0:
90. for link in next_urls:
91. self.handle_url(link.get(‘href‘))
92. #print(link.text)
96. def run(self):
97. #print("進入run()函數")
98. if self.url:
99. #print self.url
100. if self.__is_connectable():
101. try:
102. self.content=urllib2.urlopen(self.url,timeout=TIMEOUT).read()
103. self.get_next()
106. except:
107. print(‘[!]Connect Failed‘)
108. #處理https開頭的url的類和方法
109. class Poc:
110. def run(self,url):
111. global HOST
112. global CHECKING_URL
113. url=check_url(url)
116. if not url.find(‘https‘):
117. HOST=url[:8]
118. else:
119. HOST=url[7:]
122. for url in CHECKING_URL:
123. print(url)
124. url_node(url).run()
127. def check_url(url):
128. url=‘http://‘+url if not url.startswith(‘http‘) else url
129. url=url[0:len(url)-1] if url.endswith(‘/‘) else url
132. for i in range(RETRY):
133. try:
134. response=urllib2.urlopen(url,timeout=TIMEOUT)
135. return url
136. except:
137. raise Exception("Connect error")
140. if __name__==‘__main__‘:
141. HOST=‘www.dataanswer.com‘
142. CHECKING_URL.append(‘http://www.dataanswer.com/‘)
143. f=open(‘36大數據‘,‘w‘)
144. for url in CHECKING_URL:
145. f.write(url+‘\n‘)
146. print(url)
147. url_node(url).run()
148. print RESULT
149. print "URL num:"+str(len(RESULT))
150. print("time:%d s") % (time.time()-t)

八，多線程
#對列和線程的結合
[html] view plain copy

1. #!/usr/bin/env python
2. # -*- coding:utf-8 -*-
3. """
4. 一個簡單的Python爬蟲, 使用了多線程,
5. 爬取豆瓣Top前250的所有電影
6. """
8. import urllib2, re, string
9. import threading, Queue, time
10. import sys
12. reload(sys)
13. sys.setdefaultencoding(‘utf8‘)
14. _DATA = []
15. FILE_LOCK = threading.Lock()
16. SHARE_Q = Queue.Queue() #構造一個不限制大小的的隊列
17. _WORKER_THREAD_NUM = 3 #設置線程的個數
20. class MyThread(threading.Thread) :
23. def __init__(self, func) :
24. super(MyThread, self).__init__() #調用父類的構造函數
25. self.func = func #傳入線程函數邏輯
28. def run(self) :
29. self.func()
32. def worker() :
33. global SHARE_Q
34. while not SHARE_Q.empty():
35. url = SHARE_Q.get() #獲得任務
36. my_page = get_page(url)
37. find_title(my_page) #獲得當前頁面的電影名
38. #write_into_file(temp_data)
39. time.sleep(1)
40. SHARE_Q.task_done()
43. def get_page(url) :
44. """
45. 根據所給的url爬取網頁HTML
46. Args:
47. url: 表示當前要爬取頁面的url
48. Returns:
49. 返回抓取到整個頁面的HTML(unicode編碼)
50. Raises:
51. URLError:url引發的異常
52. """
53. try :
54. my_page = urllib2.urlopen(url).read().decode("utf-8")
55. except urllib2.URLError, e :
56. if hasattr(e, "code"):
57. print "The server couldn‘t fulfill the request."
58. print "Error code: %s" % e.code
59. elif hasattr(e, "reason"):
60. print "We failed to reach a server. Please check your url and read the Reason"
61. print "Reason: %s" % e.reason
62. return my_page
65. def find_title(my_page) :
66. """
67. 通過返回的整個網頁HTML, 正則匹配前100的電影名稱
68. Args:
69. my_page: 傳入頁面的HTML文本用於正則匹配
70. """
71. temp_data = []
72. movie_items = re.findall(r‘<span.*?class="title">(.*?)</span>‘, my_page, re.S)
73. for index, item in enumerate(movie_items) :
74. if item.find(" ") == -1 :
75. #print item,
76. temp_data.append(item)
77. _DATA.append(temp_data)
79. def main() :
80. global SHARE_Q
81. threads = []
82. douban_url = "http://movie.douban.com/top250?start={page}&filter=&type="
83. #向隊列中放入任務, 真正使用時, 應該設置為可持續的放入任務
84. for index in xrange(10) :
85. SHARE_Q.put(douban_url.format(page = index * 25))
86. for i in xrange(_WORKER_THREAD_NUM) :
87. thread = MyThread(worker)
88. thread.start() #線程開始處理任務
89. print("第%s個線程開始工作") % i
90. threads.append(thread)
91. for thread in threads :
92. thread.join()
93. SHARE_Q.join()
94. with open("movie.txt", "w+") as my_file :
95. for page in _DATA :
96. for movie_name in page:
97. my_file.write(movie_name + "\n")
98. print "Spider Successful!!!"
101. if __name__ == ‘__main__‘:
102. main()

九,爬蟲框架Scrapy

items.py：用來定義需要保存的變量，其中的變量用Field來定義，有點像python的字典
pipelines.py：用來將提取出來的Item進行處理，處理過程按自己需要進行定義
spiders：定義自己的爬蟲


爬蟲的類型也有好幾種：
　　1）spider:最基本的爬蟲，其他的爬蟲一般是繼承了該最基本的爬蟲類，提供訪問url，返回response的功能，會默認調用parse方法
　　2）CrawlSpider：繼承spider的爬蟲，實際使用比較多，設定rule規則進行網頁的跟進與處理， 註意點：編寫爬蟲的規則的時候避免使用parse名，因為這會覆蓋繼承的spider的的方法parse造成錯誤。 其中比較重要的是對Rule的規則的編寫，要對具體的網頁的情況進行分析。
　　3）XMLFeedSpider 與 CSVFeedSpider

(1)打開命令行，執行：scrapy startproject tutorial（項目名稱）
(2)scrapy.cfg是項目的配置文件,用戶自己寫的spider要放在spiders目錄下面
(3)解析：name屬性很重要，不同spider不能使用相同的name
start_urls是spider抓取網頁的起始點，可以包括多個url
parse方法是spider抓到一個網頁以後默認調用的callback，避免使用這個名字來定義自己的方法。
當spider拿到url的內容以後，會調用parse方法，並且傳遞一個response參數給它，response包含了抓到的網頁的內容，在parse方法裏，你可以從抓到的網頁裏面解析數據。
(3)開始抓取，進入生成的項目根目錄tutorial/，執行 scrapy crawl dmoz， dmoz是spider的name。
(4)保存對象：在items.py中添加一些類，這些類用來描述我們要保存的數據

from scrapy.item import Item, Field
class DmozItem(Item):
title = Field()
link = Field()
desc = Field()
（5）執行scrapy crawl dmoz --set FEED_URI=items.json --set FEED_FORMAT=json後得到保存的文件
（6）讓scrapy自動抓取網頁上的所有鏈接

在parse方法裏面提取我們需要的鏈接，然後構造一些Request對象，並且把他們返回，scrapy會自動的去抓取這些鏈接

最全Python爬蟲總結(轉載)