'''
用到的主要知識：(詳情見官方文件）
 1. requests
 2. BeautifulSoup
 3. codecs
 4. os
'''
#-*-coding:utf-8
import requests
from bs4 import BeautifulSoup
import lxml
import os
import codecs
'''
s=requests.Session()  #設定session用來跨對話請求，這裡會自動儲存cookies
url='https://accounts.douban.com/login'    #登入豆瓣的頁面
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
'Referer':'https://accounts.douban.com/login'
         }   #設定請求頭

re=requests.get(url)
html=re.text
soup=BeautifulSoup(html,'lxml')
all_input=soup.find_all('input',type='hidden')
input_value=all_input[2].get('value')            #得到請求表單上的captcha-id的值
img_url=soup.find('img',id='captcha_image').get('src')
solution=str(raw_input('%s:'%img_url))          #得到驗證碼，這裡需要手動的輸入
#請求表單
formdata={
'source':'None',
'redir':'https://www.douban.com/',
'form_email':'
 
[email protected]',
'form_password':'as676767as',
'captcha-solution':solution,
'captcha-id':input_value,
'login':'登入'
}
r=s.post(url,data=formdata,headers=headers)   #post登入

#用來檢驗是否已經完成了登入
sec_url='https://www.douban.com/group/guide?guide=1'
res=s.get(sec_url)
print res.text
'''


----------


----------


**#以上是基本的思路，下面是用類將程式碼封裝起來**
 

class DouBan():
    def __init__(self,log_url):
        self.log_url=log_url
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
            'Referer': 'https://accounts.douban.com/login'
        }  # 設定請求頭
 

        self.s=requests.Session()   #設定session

     #登入
    def log_in(self):
        solution,input_value=self.get_captcha_solution_id()
        #設定登入的表單
        formdata = {
            'source': 'None',
            'redir': 'https://www.douban.com/',
            'form_email': 'username',#這裡填入自己的豆瓣賬號
            'form_password': 'password',#這裡填入自己的賬號密碼
            'captcha-solution': solution,
            'captcha-id': input_value,
            'login': '登入'
        }
        r = self.s.post(url, data=formdata, headers=self.headers)  # post登入

     #獲取登入介面的原始碼
    def get_log_html(self):
        re = requests.get(self.log_url)
        html = re.text
        return html

    #獲取表單上的驗證碼和captcha-id
    def get_captcha_solution_id(self):
        html=self.get_log_html()
        soup=BeautifulSoup(html,'lxml')
        img_url = soup.find('img', id='captcha_image').get('src')
        solution=str(raw_input('%s:'%img_url))
        all_input = soup.find_all('input', type='hidden')
        input_value = all_input[2].get('value')  # 得到請求表單上的captcha-id的值
        return solution,input_value

    #驗證是否能夠登入
    def YZ(self):
        url='https://www.douban.com/group/guide?guide=1'
        re=self.s.get(url)
        print re.text

    '''下面是爬取豆瓣電影排行榜的電影的詳細資訊'''
    #獲得一頁的所有電影的url，當然如果想要獲得更多的url還是可以拓展的
    def get_url(self):
        all_a=[]
        url='https://movie.douban.com/chart'
        re=self.s.get(url)
        html=re.text
        soup=BeautifulSoup(html,'lxml')
        all_div=soup.find_all('div',class_='pl2')
        for div in all_div:
            all_a.append(div.find('a').get('href'))    #將所有的url儲存在一個列表中
        return all_a

  #下載所有的資訊寫入檔案，這裡的filename是想要存入的路徑名
    def get_info(self,filename):
        all_url=self.get_url()
        path=os.path.normpath(filename)   #規範路徑名
        os.mkdir(path)   #建立路徑
        file=os.path.join(path,'film.txt')   #將路徑和檔名連在一起構成絕對路徑
        f=codecs.open(file,'w',encoding='utf-8')   #開啟檔案
        for url in all_url:
            re=self.s.get(url)
            html=re.text
            soup=BeautifulSoup(html,'lxml')
            div=soup.find('div',id='info')
            h1=soup.find('h1')      #獲得電影的標題
            if div.text:
                text=h1.text+div.text     #得到標籤之中的內容
                print text
                f.write(text)
        f.close()            #關閉檔案


if __name__=='__main__':
    url='https://accounts.douban.com/login'
    app=DouBan(url)
    app.log_in()
    filename='g:\\film'
    app.get_info(filename)