#coding=utf-8
#---------------------------------------
#   程式：網易爬蟲
#   作者：ewang
#   日期：2016-7-6
#   語言：Python 2.7
#   功能：獲取網易頁面中的文字資訊並儲存到TXT檔案中。
#---------------------------------------

import string
import urllib2
import re
import os

class WangYi_Spider:
	#申明相關屬性
	def  __init__(self):
	    #給wangyiUrl屬性賦值
		self.wangyiUrl="http://www.163.com/"
		#用來儲存頁面中文字資訊
		self.pageinfor=[]
		print u'已經啟動網易爬蟲，爬爬...'
	
	#初始化載入頁面並將其轉碼儲存
	def	wangyi(self):
		#讀取頁面的原始資訊並將其從gbk轉碼
		Page=urllib2.urlopen(self.wangyiUrl).read().decode('gbk')
		
		#獲取頁面標題
		title=self.find_title(Page)
		print u'網頁名稱:'+title
		
		#獲取頁面中文字資訊
		self.save_infor(title)
		
	#查詢頁面標題
	def find_title(self,page):
		#匹配<title>xxxx</title>
		myTitle=re.search(r'<title>(.*?)</title>',page,re.S)
		
		#初始化標題名為暫無標題
		title=u'暫無標題'
		
		#如果標題存在把標題賦值給title
		if myTitle:
		    #(.*?)這稱作一個group，組是從1開始
			title=myTitle.group(1)
		else:
			print u'爬蟲報告：無法載入網頁標題...'
		return title
		
	#儲存頁面資訊	
	def save_infor(self,title):
		#載入頁面文字資訊到陣列中
		self.get_infor()
		
		#建立並開啟本地檔案
		f=open(title+'.txt','w+')
		
		#把獲取的頁面資訊寫入檔案中	
		f.writelines(self.pageinfor)
		
		#關閉開啟的檔案
		f.close()	
		print u'爬蟲報告：檔案'+title+'.txt'+u'已經下載:'+os.getcwd()
		print u'按任意鍵退出...'
		raw_input()
	
	#獲取頁面原始碼並將其儲存到陣列中
	def get_infor(self):
	    #獲取頁面中的原始碼
		page=urllib2.urlopen(self.wangyiUrl).read()
		
		#把頁面中的內容gbk解碼然後獲取頁面中所有的文字資訊
		self.deal_infor(page.decode('gbk'))
		
	#從頁面程式碼中獲取所需文資訊
	def deal_infor(self,page):
		#獲取<em >XXX</em>的文字資訊XXX
		emTagItems=re.findall("<em.*?>(\W+?)</em>",page,re.S)
		
		#獲取<span>XXXX</a>的文字資訊XXXX
		spanTagItems=re.findall("<span>(\W+?)</span>",page,re.S)
		
		#獲取<a .*>XXXX</a>的文字資訊XXXX
		aTagItems=re.findall("<a.*?>(\W+?)</a>",page,re.S)
		
		#把em tag中獲取的文字資訊新增到陣列pageinfor中
		for emItem in emTagItems:
			#對獲取的文字資訊用gbk進行編碼
			self.pageinfor.append(emItem.encode('gbk')+'\n')
			
		#把span tag中獲取的文字資訊新增到陣列pageinfor中	
		for spanItem in spanTagItems:
			#對獲取的文字資訊用gbk進行編碼
			self.pageinfor.append(spanItem.encode('gbk')+'\n')
			
		#把a tag中獲取的文字資訊新增到陣列pageinfor中
		for aItem in aTagItems:
		    #對獲取的文字資訊用gbk進行編碼
			self.pageinfor.append(aItem.encode('gbk')+'\n')
			
			
			
#------------程式入口處----------------
print u"""#---------------------------------------
#   程式：網易爬蟲
#   作者：ewang
#   日期：2016-7-6
#   語言：Python 2.7
#   功能：獲取網易頁面中的文字資訊並儲存到TXT檔案中
#--------------------------------------------------
"""		

wangyiSpider=WangYi_Spider()
wangyiSpider.wangyi()