1. 程式人生 > >神級程式設計師教你用Python任意下VIP視訊!

神級程式設計師教你用Python任意下VIP視訊!

作者:Jack Cui    來源

http://cuijiahua.com/blog/2017/10/spider_tutorial_1.html


實戰背景

愛奇藝的VIP視訊只有會員能看,普通使用者只能看前6分鐘。比如加勒比海盜5:

URL:http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1

我們怎麼免費看VIP視訊呢?一個簡單的方法,就是通過旋風視訊VIP解析網站。


URL:http://api.xfsub.com/


這個網站為我們提供了免費的視訊解析,它的通用解析方式是:

http://api.xfsub.com/index.php?url=[播放地址或視訊id]


比如,對於繡春刀這個電影,我們只需要在瀏覽器位址列輸入:


http://api.xfsub.com/index.php?url=http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1


這樣,我們就可以線上觀看這些VIP視訊了:



但是這個網站只提供了線上解析視訊的功能,沒有提供下載介面,如果想把視訊下載下來,我們就可以利用網路爬蟲進行抓包,將視訊下載下來。


實戰升級


分析方法相同,我們使用Fiddler進行抓包:



我們可以看到,有用的請求並不多,我們逐條分析。我們先看第一個請求返回的資訊。




可以看到第一個請求是GET請求,沒有什麼有用的資訊,繼續看下一條。




我們看到,第二條GET請求地址變了,並且在返回的資訊中,我們看到,這個網頁執行了一個POST請求。POST請求是啥呢?它跟GET請求正好相反,GET是從伺服器獲得資料,而POST請求是向伺服器傳送資料,伺服器再根據POST請求的引數,返回相應的內容。這個POST請求有四個引數,分別為time、key、url、type。記住這個有用的資訊,我們在抓包結果中,找一下這個請求,看看這個POST請求做了什麼。




很顯然,這個就是我們要找的POST請求,我們可以看到POST請求的引數以及返回的json格式的資料。其中url存放的引數如下:


xfsub_api\/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http%3A%2F%2Fwww.iqiyi.com%2Fv_19rr7qhfg0.html&type=&xml=1


這個資訊有轉義了,但是沒有關係,我們手動提取一下,變成如下形式:


xfsub_api/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1


我們已經知道了這個解析視訊的伺服器的域名,再把域名加上:


http://api.xfsub.com/xfsub_api\url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1


這裡面存放的是什麼東西?不會視訊解析後的地址吧?我們有瀏覽器開啟這個地址看一下:



我們再開啟這個視訊地址:




瞧,我們就這樣得到了這個視訊在伺服器上的快取地址。根據這個地址,我們就可以輕鬆下載視訊了。

PS:需要注意一點,這些URL地址,都是有一定時效性的,很快就會失效,因為裡面包含時間資訊。所以,各位在分析的時候,要根據自己的URL結果開啟網站才能看到視訊。

接下來,我們的任務就是程式設計實現我們所分析的步驟,根據不同的視訊播放地址獲得視訊存放的地址。

現在梳理一下程式設計思路:


  • 用正則表示式匹配到key、time、url等資訊。

  • 根據匹配的到資訊發POST請求,獲得一個存放視訊資訊的url。

  • 根據這個url獲得視訊存放的地址。

  • 根據最終的視訊地址,下載視訊。


編寫程式碼


編寫程式碼的時候注意一個問題,就是我們需要使用requests.session()保持我們的會話請求。簡單理解就是,在初次訪問伺服器的時候,伺服器會給你分配一個身份證明。我們需要拿著這個身份證去繼續訪問,如果沒有這個身份證明,伺服器就不會再讓你訪問。這也就是這個伺服器的反爬蟲手段,會驗證使用者的身份。

#-*- coding:UTF-8 -*-
import requests,re, json
from bs4 import BeautifulSoup

class video_downloader():
   def __init__(self, url):
       self.server = 'http://api.xfsub.com'
       self.api = 'http://api.xfsub.com/xfsub_api/?url='
       self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
       self.url = url.split('#')[0]
       self.target = self.api + self.url
       self.s = requests.session()

   """
   函式說明:獲取key、time、url等引數
   Parameters:
       無
   Returns:
       無
   Modify:
       2017-09-18
   """

   def get_key(self):
       req = self.s.get(url=self.target)
       req.encoding = 'utf-8'
       self.info = json.loads(re.findall('"url.php",\ (.+),', req.text)[0])    #使用正則表示式匹配結果,將匹配的結果存入info變數中

   """
   函式說明:獲取視訊地址
   Parameters:
       無
   Returns:
       video_url - 視訊存放地址
   Modify:
       2017-09-18
   """

   def get_url(self):
       data = {'time':self.info['time'],
           'key':self.info['key'],
           'url':self.info['url'],
           'type':''}
       req = self.s.post(url=self.get_url_api,data=data)
       url = self.server + json.loads(req.text)['url']
       req = self.s.get(url)
       bf = BeautifulSoup(req.text,'xml')                                        #因為檔案是xml格式的,所以要進行xml解析。
       video_url = bf.find('file').string                                        #匹配到視訊地址
       return video_url

if __name__ == '__main__':
    url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
    vd = video_downloader(url)
    vd.get_key()
    print(vd.get_url())



思路已經給出,希望喜歡爬蟲的人可以在執行下程式碼之後,自己重頭編寫程式,因為只有經過自己分析和測試之後,才能真正明白這些程式碼的意義。上述程式碼執行結果如下:




我們已經順利獲得了mp4這個視訊檔案地址。根據視訊地址,使用urllib.request.urlretrieve()即可將視訊下載下來。編寫程式碼如下:

#-*- coding:UTF-8 -*-
import requests,re, json, sys
from bs4 import BeautifulSoup
from urllib import request

class video_downloader():
   def __init__(self, url):
       self.server = 'http://api.xfsub.com'
       self.api = 'http://api.xfsub.com/xfsub_api/?url='
       self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
       self.url = url.split('#')[0]
       self.target = self.api + self.url
       self.s = requests.session()

   """
   函式說明:獲取key、time、url等引數
   Parameters:
       無
   Returns:
       無
   Modify:
       2017-09-18
   """

   def get_key(self):
       req = self.s.get(url=self.target)
       req.encoding = 'utf-8'
       self.info = json.loads(re.findall('"url.php",\ (.+),', req.text)[0])    #使用正則表示式匹配結果,將匹配的結果存入info變數中

   """
   函式說明:獲取視訊地址
   Parameters:
       無
   Returns:
       video_url - 視訊存放地址
   Modify:
       2017-09-18
   """

   def get_url(self):
       data = {'time':self.info['time'],
           'key':self.info['key'],
           'url':self.info['url'],
           'type':''}
       req = self.s.post(url=self.get_url_api,data=data)
       url = self.server + json.loads(req.text)['url']
       req = self.s.get(url)
       bf = BeautifulSoup(req.text,'xml')                                        #因為檔案是xml格式的,所以要進行xml解析。
       video_url = bf.find('file').string                                        #匹配到視訊地址
       return video_url

   """
   函式說明:回撥函式,列印下載進度
   Parameters:
       a b c - 返回資訊
   Returns:
       無
   Modify:
       2017-09-18
   """

   def Schedule(self, a, b, c):
       per = 100.0*a*b/c
       if per > 100 :
           per = 1
       sys.stdout.write("  " + "%.2f%% 已經下載的大小:%ld 檔案大小:%ld" % (per,a*b,c) + '\r')
       sys.stdout.flush()

   """
   函式說明:視訊下載
   Parameters:
       url - 視訊地址
       filename - 視訊名字
   Returns:
       無
   Modify:
       2017-09-18
   """

   def video_download(self, url, filename):
       request.urlretrieve(url=url,filename=filename,reporthook=self.Schedule)

if __name__ == '__main__':
   url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
   vd = video_downloader(url)
   filename = '加勒比海盜5'
   print('%s下載中:' % filename)
   vd.get_key()
   video_url = vd.get_url()
   print('  獲取地址成功:%s' % video_url)
   vd.video_download(video_url, filename+'.mp4')
   print('\n下載完成!')

urlretrieve()有三個引數,第一個url引數是視訊存放的地址,第二個引數filename是儲存的檔名,最後一個是回撥函式,它方便我們檢視下載進度。程式碼量不大,很簡單,主要在於分析過程。程式碼執行結果如下:




下載速度挺快的,幾分鐘視訊下載好了。




對於這個程式,感興趣的朋友可以進行擴充套件一下,設計出一個小軟體,根據使用者提供的url,提供PC線上觀看、手機線上觀看、視訊下載等功能。


總結


  • 本次Chat講解的實戰內容,均僅用於學習交流,請勿用於任何商業用途!

  • 爬蟲時效性低,同樣的思路過了一個月,甚至一週可能無法使用,但是爬取思路都是如此,完全可以自行分析。

  • 本次實戰程式碼,均已上傳我的Github,歡迎Follow、Star:https://github.com/Jack-Cherish/python-spider

  • 如有問題,請留言。如有錯誤,還望指正,謝謝!