2. 程式人生 > >爬蟲爬取電影天堂電影連結

爬蟲爬取電影天堂電影連結

阿新 • • 發佈：2018-11-29

 

比較熱愛python，最近在用eclipse寫java web，那就使用eclipse+PyDv配置環境，小試一次爬蟲吧~

看電影還要到處找資源，索性自己直接爬取電影連結，只要在迅雷上crtl+c/v就可以邊播邊下了~

僅以用來學習娛樂呦~~

進入正題：

　　網頁開啟電影天堂，發現是一個非常好解析的網頁，它網頁元素構成簡單，容易理解，爬取就不用太多驗證控制，首先下載網頁原始碼，然後儲存在txt檔案中，然後用python讀取，進行獲取。（完整精簡程式碼在文後）

　　

# -*- coding: utf-8 -*-
import pandas as pd
import
 
 numpy as np
import urllib
from urllib import request
from bs4 import BeautifulSoup
from pandas.tests.frame.test_validate import dataframe
import requests
import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')


url =r'e:\tiantang.txt'
resp=open(url,encoding='gb18030',errors='
 
ignore')
s = BeautifulSoup(resp,"lxml")

mingzitag=s.findAll('a')
#print(mingzitag)
href=[]
mingzis=[]
for tag in mingzitag:
    mingzis.append(str(tag.text))
    href.append(tag['href'])
#print(href)
view=pd.DataFrame(mingzis,columns=['NAME'])
view2=pd.DataFrame(href,columns=['URL'])
view3=view.join(view2)

 
print(view3)

結果：

                              NAME                                              URL

0                                                                       /index.html

1                             最新影片   http://www.ygdy8.net/html/gndy/dyzz/index.html

2                             經典影片        http://www.ygdy8.net/html/gndy/index.html

3                             國內電影  http://www.ygdy8.net/html/gndy/china/index.html

4                             歐美電影  

16                            本站首頁                            http://www.dytt8.net/

17                              電影                            /html/gndy/index.html

18                            最新電影                       /html/gndy/dyzz/index.html

19                            日韓電影                      /html/gndy/rihan/index.html

20                            歐美電影                      /html/gndy/oumei/index.html

21                            國內電影                      /html/gndy/china/index.html

22                            綜合電影                       /html/gndy/jddy/index.html

23                  2017年科幻動作《全球風暴              /html/gndy/dyzz/20180103/55959.html

24                  2017年高分恐怖《小丑回魂              /html/gndy/dyzz/20171230/55920.html

25                  2017年驚悚懸疑《雪人/雪              /html/gndy/jddy/20171224/55874.html

26                 2017年喜劇《性別之戰》BD              /html/gndy/jddy/20171222/55861.html

73      2018年劇情動作《反貪風暴3/L風暴》HD國語中字              /html/gndy/dyzz/20181026/57680.html

74    2018年8.0分動畫喜劇《超人總動員2》HD中英雙字幕              /html/gndy/dyzz/20181025/57675.html

75                             [2]                                   list_23_2.html

76                             [3]                                   list_23_3.html

77                             [4]                                   list_23_4.html

85                           電影APP                   https://www.dytt8.net/app.html

86                            下載宣告                                      /index.html

87                            網站地圖                               /plus/sitemap.html

.....

刪除無關資訊

#把無關資訊刪除
view3=view3.drop([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22])
view3=view3.drop([75,76,77,78,79,80,81,82,83,84,85,86,87])
view3.reset_index(drop=True,inplace=True)
#print(view3)

                              NAME                                      URL

0                   2017年科幻動作《全球風暴      /html/gndy/dyzz/20180103/55959.html

1                   2017年高分恐怖《小丑回魂      /html/gndy/dyzz/20171230/55920.html

2                   2017年驚悚懸疑《雪人/雪      /html/gndy/jddy/20171224/55874.html

3                  2017年喜劇《性別之戰》BD      /html/gndy/jddy/20171222/55861.html

4                   2017年甄子丹劉德華動作《      /html/gndy/dyzz/20171218/55832.html

5                   2017年詹妮弗·勞倫斯懸疑      /html/gndy/dyzz/20171208/55749.html

6                   2017年動作喜劇《寶貝特攻      /html/gndy/jddy/20171206/55738.html

7                  2017年8.3高分戰爭《敦刻      /html/gndy/dyzz/20171205/55728.html

8                   2017年高分獲獎劇情《相愛      /html/gndy/dyzz/20171205/55726.html

9                   2017年高分劇情《天才槍手      /html/gndy/dyzz/20171202/55684.html

10                  2017年愛情喜劇《胡楊的夏      /html/gndy/jddy/20171202/55682.html

11                  2017年動作喜劇《王牌特工      /html/gndy/dyzz/20171130/55665.html

12                  2017年動作《英倫對決》國      /html/gndy/dyzz/20171130/55664.html

13                  2017年動作《美國刺客/美      /html/gndy/dyzz/20171123/55603.html

14                  2017年懸疑動作《極寒之城      /html/gndy/dyzz/20171105/55468.html

15                  2011臺灣最新偶像劇《旋風        /html/tv/hytv/20110620/32833.html

16                  2010最新臺灣偶像劇《愛似  /html/tv/gangtai/tw/20101227/30016.html

17                  2010潘瑋柏最新偶像劇《愛  /html/tv/gangtai/tw/20100823/27737.html

18                  2010臺灣熱播偶像劇《鍾無     /html/tv/gangtai/20100726/27236.html

19                  2010熱播偶像劇《呼叫大明  /html/tv/gangtai/tw/20100517/26035.html

20                  2010臺灣偶像劇《就想賴著  /html/tv/gangtai/tw/20100118/24051.html

21                  2009熱播偶像劇《下一站幸  /html/tv/gangtai/tw/20091005/22040.html

22                  2009臺灣八大劇《桃花小妹  /html/tv/gangtai/tw/20091015/22259.html

23         2018年劇情歷史《7月22日》BD中英雙字幕      /html/gndy/dyzz/20181108/57761.html

24         2018年動作喜劇《歐洲攻略》BD國粵雙語中字      /html/gndy/dyzz/20181108/57760.html

25     2018年高分動作《碟中諜6：全面瓦解》HD中英雙字幕      /html/gndy/dyzz/20181107/57755.html

26          2018年劇情戰爭《颶風行動》BD中英雙字幕      /html/gndy/dyzz/20181106/57753.html

27         2018年劇情犯罪《你給的仇恨》HD中英雙字幕      /html/gndy/dyzz/20181106/57748.html

28    2018年高分動畫喜劇《超人總動員2》BD英國粵三語雙字      /html/gndy/dyzz/20181104/57728.html

29           2018年奇幻動畫《朝花夕誓》BD日語中字      /html/gndy/dyzz/20181104/57726.html

30     2018年科幻動作《巨齒鯊/極悍巨鯊》HD國英雙語雙字      /html/gndy/dyzz/20181104/57722.html

31  2018年動畫喜劇《精靈旅社3：瘋狂假期》BD英國粵三語雙字      /html/gndy/dyzz/20181103/57720.html

32     2018年高分奇幻《與神同行：罪與罰》BD韓粵雙語中字      /html/gndy/dyzz/20181102/57714.html

33    2018年高分奇幻《與神同行2：因與緣》BD韓語中英雙字      /html/gndy/dyzz/20181102/57713.html

34       2018年懸疑恐怖《修女/招魂外傳》BD中英雙字幕      /html/gndy/dyzz/20181102/57712.html

35          2018年喜劇《西虹市首富》HD國語中英雙字      /html/gndy/dyzz/20181101/57703.html

36       2018年劇情《巴比龍/逃離惡魔島》BD中英雙字幕      /html/gndy/dyzz/20181101/57702.html

37    2018年動作驚悚《伸冤人2/私刑教育2》BD中英雙字幕      /html/gndy/dyzz/20181101/57700.html

38            2018年愛情喜劇《牽線》BD中英雙字幕      /html/gndy/dyzz/20181031/57699.html

39           2018年劇情《三角草的春天》BD日語中字      /html/gndy/dyzz/20181031/57698.html

40            2018年驚悚恐怖《幼兒怨》BD粵語中字      /html/gndy/dyzz/20181029/57694.html

41      2018年高分喜劇《克里斯托弗·羅賓》BD中英雙字幕      /html/gndy/dyzz/20181028/57688.html

42         2018年動作歷史戰爭《大轟炸》HD中英雙字幕      /html/gndy/dyzz/20181028/57686.html

43  2018年高分劇情愛情《冷戰/沒有煙硝的愛情》BD中英雙字幕      /html/gndy/dyzz/20181027/57685.html

44      2018年冒險劇情《阿爾法：狼伴歸途》BD中英雙字幕      /html/gndy/dyzz/20181026/57682.html

45        2018年高分歷史戰爭《冒牌上尉》BD中英雙字幕      /html/gndy/dyzz/20181026/57681.html

46      2018年劇情動作《反貪風暴3/L風暴》HD國語中字      /html/gndy/dyzz/20181026/57680.html

47    2018年8.0分動畫喜劇《超人總動員2》HD中英雙字幕      /html/gndy/dyzz/20181025/57675.html

 

發現這些連結只有後半段，缺少前半段，需要加上前半段url

wanzheng=[]
t=view3['URL']
for row in t:
    src='https://www.dytt8.net'+row
    wanzheng.append(src)
#print(wanzheng)

['https://www.dytt8.net/html/gndy/dyzz/20180103/55959.html', 'https://www.dytt8.net/html/gndy/dyzz/20171230/55920.html', 'https://www.dytt8.net/html/gndy/jddy/20171224/55874.html', 'https://www.dytt8.net/html/gndy/jddy/20171222/55861.html', 'https://www.dytt8.net/html/gndy/dyzz/20171218/55832.html', 'https://www.dytt8.net/html/gndy/dyzz/20171208/55749.html', 'https://www.dytt8.net/html/gndy/jddy/20171206/55738.html', 'https://www.dytt8.net/html/gndy/dyzz/20171205/55728.html', 'https://www.dytt8.net/html/gndy/dyzz/20171205/55726.html', 'https://www.dytt8.net/html/gndy/dyzz/20171202/55684.html', 'https://www.dytt8.net/html/gndy/jddy/20171202/55682.html', 'https://www.dytt8.net/html/gndy/dyzz/20171130/55665.html', 'https://www.dytt8.net/html/gndy/dyzz/20171130/55664.html', 'https://www.dytt8.net/html/gndy/dyzz/20171123/55603.html', 'https://www.dytt8.net/html/gndy/dyzz/20171105/55468.html', 'https://www.dytt8.net/html/tv/hytv/20110620/32833.html', 'https://www.dytt8.net/html/tv/gangtai/tw/20101227/30016.html', 'https://www.dytt8.net/html/tv/gangtai/tw/20100823/27737.html', 'https://www.dytt8.net/html/tv/gangtai/20100726/27236.html', 'https://www.dytt8.net/html/tv/gangtai/tw/20100517/26035.html', 'https://www.dytt8.net/html/tv/gangtai/tw/20100118/24051.html', 'https://www.dytt8.net/html/tv/gangtai/tw/20091005/22040.html', 'https://www.dytt8.net/html/tv/gangtai/tw/20091015/22259.html', 'https://www.dytt8.net/html/gndy/dyzz/20181108/57761.html', 'https://www.dytt8.net/html/gndy/dyzz/20181108/57760.html', 'https://www.dytt8.net/html/gndy/dyzz/20181107/57755.html', 'https://www.dytt8.net/html/gndy/dyzz/20181106/57753.html', 'https://www.dytt8.net/html/gndy/dyzz/20181106/57748.html', 'https://www.dytt8.net/html/gndy/dyzz/20181104/57728.html', 'https://www.dytt8.net/html/gndy/dyzz/20181104/57726.html', 'https://www.dytt8.net/html/gndy/dyzz/20181104/57722.html', 'https://www.dytt8.net/html/gndy/dyzz/20181103/57720.html', 'https://www.dytt8.net/html/gndy/dyzz/20181102/57714.html', 'https://www.dytt8.net/html/gndy/dyzz/20181102/57713.html', 'https://www.dytt8.net/html/gndy/dyzz/20181102/57712.html', 'https://www.dytt8.net/html/gndy/dyzz/20181101/57703.html', 'https://www.dytt8.net/html/gndy/dyzz/20181101/57702.html', 'https://www.dytt8.net/html/gndy/dyzz/20181101/57700.html', 'https://www.dytt8.net/html/gndy/dyzz/20181031/57699.html', 'https://www.dytt8.net/html/gndy/dyzz/20181031/57698.html', 'https://www.dytt8.net/html/gndy/dyzz/20181029/57694.html', 'https://www.dytt8.net/html/gndy/dyzz/20181028/57688.html', 'https://www.dytt8.net/html/gndy/dyzz/20181028/57686.html', 'https://www.dytt8.net/html/gndy/dyzz/20181027/57685.html', 'https://www.dytt8.net/html/gndy/dyzz/20181026/57682.html', 'https://www.dytt8.net/html/gndy/dyzz/20181026/57681.html', 'https://www.dytt8.net/html/gndy/dyzz/20181026/57680.html', 'https://www.dytt8.net/html/gndy/dyzz/20181025/57675.html']

這就是完整的連結了，但是得到連結，卻沒有電影名字，所以需要給每個連結上加上電影名字

view4=pd.DataFrame(wanzheng,columns=['URL'])
view5=view3[['NAME']]
view6=view5.join(view4)
#這是完整的電影名字和電影簡介頁面連結（進入這個簡介頁面才能找到下載電影資源的連結）

示例輸出如下：

                             NAME                                                URL

0                   2017年科幻動作《全球風暴  https://www.dytt8.net/html/gndy/dyzz/20180103/...

1                   2017年高分恐怖《小丑回魂  https://www.dytt8.net/html/gndy/dyzz/20171230/...

2                   2017年驚悚懸疑《雪人/雪  https://www.dytt8.net/html/gndy/jddy/20171224/...

3                  2017年喜劇《性別之戰》BD  https://www.dytt8.net/html/gndy/jddy/20171222/...

 

所以，我們需要進入簡介頁面內，獲取到完整的電影資源。（好像上一步有點做無用功，，）

 

ZJURL=[]
for row in view6['URL']: 
    resp=urllib.request.urlopen(row)
s = BeautifulSoup(resp,"lxml")
#按標籤層數進入實現精確查詢
    ftptag=s.findAll('table')
    for tag in ftptag:
        for tag2 in tag.findAll('tbody'):
            for tag3 in tag2.findAll('tr'):
                for tag4 in tag3.findAll('a'):
                    ZJURL.append(tag4['href'])
try:
    file = open(r'E:\ziyuan22.txt', 'w+',encoding='utf-8')
    for title in ZJURL:
        file.write(title+'                ')
#加些空格將上一條與下一條連結分開
finally:
    if file:
        file.close()
print('over')

儲存後的txt檔案大概長這樣：

好了，到這裡你就獲得了一份簡單的電影資源了！

 

現在附上完整精簡程式碼：

 1 # -*- coding: utf-8 -*-
 2 import pandas as pd
 3 import numpy as np
 4 import urllib
 5 from urllib import request
 6 from bs4 import BeautifulSoup
 7 from pandas.tests.frame.test_validate import dataframe
 8 import requests
 9 import sys
10 import io
11 sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
12 
13 url=r'https://xa.58.com/chuzu/?PGTID=0d100000-001e-365c-b1e8-2142aa50dcb5&ClickID=3'
14 page = request.Request(url)
15 page_info = request.urlopen(page).read().decode('utf-8')
16 
17 s = BeautifulSoup(page_info,"lxml")
18 #在a標籤裡獲取連結
19 mingzitag=s.findAll('a')
20 href=[]
21 mingzi=[]
22 for tag in mingzitag:
23     mingzi.append(str(tag.text))
24     href.append(tag['href'])
25 #由於a標籤裡會有許多無用的標籤，所以先建立dataframe,以方便檢視無效資訊的索引，便於刪除
26 view=pd.DataFrame(mingzis,columns=['NAME'])
27 view2=pd.DataFrame(href,columns=['URL'])
28 view3=view.join(view2)
29 view3=view3.drop([1～22])
30 view3=view3.drop([75～87])
31 view3.reset_index(drop=True,inplace=True)
32 #將完整的電影簡介頁面的url找到，所以必須加入字首
33 wanzheng=[]
34 t=view3['URL']
35 for row in t:
36     src='https://www.dytt8.net'+row
37     wanzheng.append(src)
38 
39 #將完整url開啟找資源連結（ZJURL）
40 view4=pd.DataFrame(wanzheng,columns=['URL'])
41 ZJURL=[]
42 for row in view4['URL']: 
43     resp=urllib.request.urlopen(row)
44     s = BeautifulSoup(resp,"lxml")
45     ftptag=s.findAll('table')
46     for tag in ftptag:
47         for tag2 in tag.findAll('tbody'):
48             for tag3 in tag2.findAll('tr'):
49                 for tag4 in tag3.findAll('a'):
50                     ZJURL.append(tag4['href'])
51 try:
52     file = open(r'E:\最終電影資源.txt', 'w+',encoding='utf-8')
53     for title in ZJURL:
54         file.write(title+'                ')
55 finally:
56     if file:
57         file.close()
58 print('job Done!')

 

相關推薦

python爬蟲--爬取豆瓣top250電影名

python爬蟲--爬取豆瓣top250電影名 關於模擬瀏覽器登入的header，可以在相應網站按F12調取出編輯器，點選netwook，如下： 以便於不會被網站反爬蟲拒絕。   1 import requests 2 from bs4 import BeautifulSoup

python爬蟲-爬取愛情公寓電影（2018）豆瓣短評並資料分析

說起這部電影，我本人並沒有看，其實原先是想為了情懷看一下，但是好友用親身經歷告訴我看來會後悔的，又去看了看豆瓣評分，史無前例的，，，低。 出於興趣就爬取一下這部電影在豆瓣上的短評，並且用詞雲分析一下。  1.分析url 經過分析不難發現每一頁短評的url都是一致的除

爬蟲爬取電影天堂電影連結

  比較熱愛python，最近在用eclipse寫java web，那就使用eclipse+PyDv配置環境，小試一次爬蟲吧~ 看電影還要到處找資源，索性自己直接爬取電影連結，只要在迅雷上crtl+c/v就可以邊播邊下了~ 僅以用來學習娛樂呦~~ 進入正題： 　　網頁開啟電影天堂，發現是一

java實現簡單的網路爬蟲（爬取電影天堂電影資訊）

在最開始，我們要在網上下載所用到的jar包，應為這只是一個簡單的網路爬蟲所以很多包裡的內容沒有用到。 下面幾個包就可以了。並且要引入這些包。 主類Bigdata.javaimport org.htmlparser.util.ParserException; public

Java爬蟲爬取網站電影下載連結

之前有看過一段時間爬蟲，瞭解了爬蟲的原理，以及一些實現的方法，本專案完成於2017年初，一直放在那裡，現在和大家分享出來。網路爬蟲簡單的原理就是把程式想象成為一個小蟲子，一旦進去了一個大門，這個小蟲子就像進入了新世界一樣，只要符合他的口味的東西就會放在自己的袋子裡，但是他還不

用Python爬蟲爬取豆瓣電影、讀書Top250並排序

更新：已更新豆瓣電影Top250的指令碼及網站 概述 經常用豆瓣讀書的童鞋應該知道，豆瓣Top250用的是綜合排序，除使用者評分之外還考慮了很多比如是否暢銷、點選量等等，這也就導致了一些近年來評分不高的暢銷書在這個排行榜上高高在上遠比一些經典名著排名還高，於是在這裡打算重新給To

Python爬蟲不管什麼妖魔鬼怪都能爬！爬取日本愛情電影！節制點！

肉身翻牆後，感受一下外面的骯髒世界。牆內的朋友叫苦不迭，由於某些原因，VPN能用的越來越少。上週我的好朋友狗子和我哭訴說自己常用的一個VPN終於也壽終正寢了，要和眾多的日本小姐姐說再見了。作為“外面人”，我還是要幫他一把…… 初探 狗子給我的網站還算良心，只跳了五個彈窗就消停了。 然後看

python scrapy框架爬取豆瓣top250電影篇一明確目標&&爬蟲編寫

1.明確目標 1.1在url上找到要爬取的資訊 1.2.確定了資訊,編寫items檔案    class DoubanItem(scrapy.Item):  &nb

爬蟲——爬取貓眼電影網

import json from multiprocessing import Pool import requests from requests.exceptions import RequestException import re def get_one_page

python爬蟲爬取貓眼電影top100

這個爬蟲我是跟著教程做的，也是第一次用python的re和multiprocessing（多執行緒），還知道了yield生成器的用法。不過re正則表示式真的厲害，但是學起來比較難，還在學習中。import requests import re import pymysql f

python3批量抓取電影天堂下載連結

1.思路分析     首先開啟電影天堂的列表頁  右鍵審查元素檢視電影簡介的連結 將此連結開啟可以得到下載地址 可能是爬蟲原因網站審查元素和用request得到的資料不一樣，因此程式碼的正則表示式會改變  加上列表迴圈便可以批量輸出下

（7）Python爬蟲——爬取豆瓣電影Top250

利用python爬取豆瓣電影Top250的相關資訊，包括電影詳情連結,圖片連結,影片中文名,影片外國名,評分,評價數,概況,導演,主演,年份,地區,類別這12項內容，然後將爬取的資訊寫入Excel表中。基本上爬取結果還是挺好的。具體程式碼如下： #!/us

python爬蟲——爬取豆瓣電影top250資訊並載入到MongoDB資料庫中

最近在學習關於爬蟲方面的知識，因為剛開始接觸，還是萌新，所以有什麼錯誤的地方，歡迎大家指出 from multiprocessing import Pool from urllib.request import Request, urlopen import re, pymongo index

初學python：用簡單的爬蟲爬取豆瓣電影TOP250的排名

一開始接觸到python語言，對它沒什麼瞭解。唯一知道的就是它可以用來寫爬蟲，去爬取網路上的資源。爬蟲是一種按照一定的規則，自動地抓取網路上的資訊的程式或者指令碼。所以當我對python有一定的瞭解後，我就想個寫個爬蟲來試試手。於是就有了這篇文章，用簡單的爬蟲爬取豆瓣電影TO

Python爬蟲-爬取貓眼電影Top100榜單

貓眼電影的網站html組成十分簡單。 地址就是很簡單的offset=x 這個x引數更改即可翻頁。 下面的資訊使用正則表示式很快就可以得出結果。 直接放程式碼： import json

php爬蟲爬取豆瓣電影top250內容

檢視豆瓣api文件 我們直接選擇top250之後往下翻閱可以看到引數需求，有兩個引數，start和count，分別代表請求開始的起始地址，這裡是從0開始的，count代表請求的數目。<br/><br/> 返回資料

爬蟲實戰（一）——利用scrapy爬取豆瓣華語電影

爬蟲第一個專案是爬取豆瓣華語電影，後面將對這部分資料進行分析。 本文也是發表於『運籌OR帷幄』微信公眾號的《用資料帶你瞭解電影行業—華語篇》的爬蟲介紹篇。 1. 爬取思路 在觀察了豆瓣每個影片的連結地址後，寫下了主要思路： （1）在豆瓣電影的選片頁面，篩選所有華

爬取電影天堂電影資訊

思路：使用requests庫獲取網頁原始碼，使用BeautifulSoup解析網頁原始碼，然後使用css選擇器獲取資料原始碼：import requests from bs4 import Beauti

python爬蟲 爬取貓眼電影資料

# 定義一個函式獲取貓眼電影的資料​ import requests def main(): url = url = 'http://maoyan.com/board/4?offset=0' html = requests.get(url).text

Python爬蟲爬取BT之家找電影資源

一、寫在前面 最近看新聞說聖城家園（SCG）倒了，之前BT天堂倒了，暴風影音也不行了，可以說看個電影越來越費力，國內大廠如企鵝和愛奇藝最近也出現一些么蛾子，雖然目前版權意識雖然越來越強，但是很多資源在這些主流視訊網站上面依然沒有，我平時看電影又習慣下載下來再看，所以每次看電影找資源就很麻煩，花了點時間，於