1. 程式人生 > >爬蟲獲取視訊基礎教程

爬蟲獲取視訊基礎教程

 根據上篇文章的方法,選用requests+beautifulsoup爬取網站的一些小視訊

環境:

anaconda python 3.6.1

程式設計思路明白了之後,程式碼就很簡單

import requests
from bs4 import BeautifulSoup

def get_url():
    url='http://699pic.com/video-sousuo-0-2-1-200-0-0.html?sem=1&sem_kid=126640&sem_type=2'
    headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
            }   #模擬瀏覽器
    r=requests.get(url,headers)  
    r.encoding = 'UTF-8'
    #print(r.text)   #初學很必要,至少可以看到成功獲取了所有網頁原始碼
    all_video = BeautifulSoup(r.text, 'lxml').find_all('video', class_='video-hover lazy')   #找到所有屬性為video-hover lazy的video節點
    j=0
    l=[]
    for i in range(1,100):
        l.append(i)       #主要是用來命名,個人習慣用數字命名 
    for video in all_video:
        video_url=video['data-original']
        video_url='http:'+video_url
        print(video_url) #迴圈獲取所有符合條件的img標籤中的scr所指向的內容
        name=str(l[j])
        savefile(video_url,name)
        j+=1

def savefile(video_url,name):
    print("開始下載···")
    video=requests.get(video_url)
    file_name=name+'.mp4'
    f = open('F://python//test//爬蟲學習//視訊素材' + '/'+
             file_name, 'ab')
    print('開始儲存視訊')
    f.write(video.content)    
    f.close()
    
get_url()
savefile()

儲存視訊如下: 

歡迎留言多多交流,互相學習