python爬蟲:爬取網站視頻
阿新 • • 發佈:2017-05-24
爬蟲 python
reload(sys)
python爬取百思不得姐網站視頻:http://www.budejie.com/video/
新建一個py文件,代碼如下:
#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib,re,requests import sys reload(sys) sys.setdefaultencoding(‘utf-8‘) url_name = [] #url name def get(): #獲取源碼 hd = {"User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"} url = ‘http://www.budejie.com/video/‘ html = requests.get(url,headers=hd).text url_content = re.compile(r‘(<div class="j-r-list-c">.*?</div>.*?</div>)‘,re.S) #編譯 url_contents = re.findall(url_content,html) #匹配 for i in url_contents: #匹配視頻 url_reg = r‘data-mp4="(.*?)"‘ #視頻地址 url_items = re.findall(url_reg,i) #print url_items if url_items: #判斷視頻是否存在 name_reg = re.compile(r‘<a href="/detail-.{8}?.html">(.*?)</a>‘,re.S) name_items = re.findall(name_reg,i) #print name_items[0] for i,k in zip(name_items,url_items): url_name.append([i,k]) print i,k for i in url_name: #i[1]=url i[0]=name urllib.urlretrieve(i[1],‘video\\%s.mp4‘ % (i[0].decode(‘utf-8‘))) if __name__ == "__main__": get()
在 py 文件下新建一個 video 文件夾,執行後結果如下:
在 video 文件夾可以看到下載好的視頻
註意報錯:
UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-9: ordinal not in range(128)
解決:
import sysreload(sys)
sys.setdefaultencoding(‘utf-8‘)
本文出自 “M四月天” 博客,請務必保留此出處http://msiyuetian.blog.51cto.com/8637744/1928780
python爬蟲:爬取網站視頻