nodejs爬蟲筆記（三）
阿新 • • 發佈：2017-07-30
target ole n+2 如何獲取 利用 mod git brush 所有
思路：通過筆記（二）中代理的設置，已經可以對YouTube的信息進行爬取了，這幾天想著爬取網站下的視頻信息。通過分析YouTube，可以從訂閱號入手，先選擇幾個訂閱號，然後爬取訂閱號裏面的視頻分類，之後進入到每個分類下的視頻列表，最後在具體到每一個視頻，獲取需要的信息。以訂閱號YouTube 電影為例。
一、爬取YouTube 電影裏面的視頻分類列表
打開訂閱號，我們可以發現訂閱號下有許多視頻分類如下圖所示，接下來可以解析該訂閱號信息，把視頻分類的URL和名稱爬取下來。
接下來我們通過瀏覽器點擊檢查查看網頁，分析下如何獲取分類，可以發現所有的視頻分類都在ul 下的 li 裏面，通過ul的id 我們便可以找到分類的相關信息，因此我們可以利用cheerio模塊來解析頁面，從而獲取分類信息。
先將獲取分類信息的相關代碼分裝成一個函數function categoryList (url , callback){}，代碼如下：
var request =require(‘superagent‘);
require(‘superagent-proxy‘)(request);
var cheerio = require(‘cheerio‘);
var debug = require(‘debug‘)(‘youtube:test:category-list‘);
var proxy = ‘http://127.0.0.1:61481‘;//設置代理IP地址
//請求頭信息
var header = {
‘Accept‘:‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8‘,
‘Accept-Encoding‘:‘gzip, deflate, sdch, br‘,
‘Accept-Language‘:‘zh-CN,zh;q=0.8,en;0.6‘,
‘Cookie‘:‘WKcs6.resume=; _ga=GA1.2.1653214693.1476773935; _gid=GA1.2.943573022.1500212436; YSC=_X6aKoK1jMc; s_gl=1d69aac621b2f9c0a25dade722d6e24bcwIAAABVUw==; VISITOR_INFO1_LIVE=T3BczuPUIQo; PREF=hl=zh-CN&cvdm=grid&gl=US&f1=50000000&al=zh-CN&f6=1&f5=30; SID=7gR6XOImfW5PbJLOrScScD4DXf8cHCkWCkxSUFy9CbhnaFaPLBCVCElv97n_mjWgkPC_ow.; HSID=A0_bKgPkAZLJUfnTj; SSID=ASjQTON7p_q4UNgit; APISID=ZIVPX9a3vUKRa28E/A0dykxLiVJ4xDIUS_; SAPISID=t6dcqHC9pjGsE7Bi/ATm5wgRC27rqUQr5B; CONSENT=YES+CN.zh-CN+20160904-14-0; LOGIN_INFO=APUNbegwRQIhAPnMZ-qYHOSAKq0s9ltEQIUvnWNj9CHQ8J5s2JtZK15TAiBLzfS4HEUh-mWGo2Qo6XOruItGRdpPZ2v3cXLqYY7xtA:QUZKNV9BajdRR2VZQ2QyRlVDdXh3VDdKZ1AzMlFqRmg3aTBfR2pxWXFHWXlXYm1BaVVnQWk4UzZfWmZGSGcxRkNuTDBFYTk2a2tKLUEtNmtNaWZKM3hTMWNTZkgyOVlvTF9DNENwTG5XTlJudEVHQzVIeGxMbTFTdkl6YS02QlBmMmM0NVgteWI3QVNIa3c5c2ZkV1NSa3AzbWhwOHBtbzVrVTVSbTBqaWpIZ0dWNTd4UjJRSllr‘,
‘Upgrade-insecure-requests‘:‘1‘,
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.59 Safari/537.36‘,
‘X-Chrome-Uma-Enabled‘:‘1‘,
‘X-Client-Data‘:‘CJa2yQEIorbJAQjBtskBCKmdygE=‘,
‘Connection‘: ‘keep-alive‘
};
//獲取訂閱號下視頻分類列表
function categoryList (url , callback){
debug(‘讀取訂閱號下視頻分類列表‘,url);
request
.get(url)//需要獲取的網址
.set(‘header‘,header)
.proxy(proxy)
.end(onresponse);
function onresponse(err,res){
//res.setEncoding(‘utf-8‘); //防止中文亂碼
if(err){
return callback(err);
}else{
console.log(‘status:‘+res.status);//打印狀態碼
//console.log(res.text);
var $ = cheerio.load(res.text);
//獲取訂閱號Id
var $channelName = $(‘#c4-primary-header-contents .branded-page-header-title a‘).attr(‘href‘);
var $channelId = $channelName.match(/channel\/([a-zA-Z0-9_-]+)/);
var categoryList = [];
$(‘#browse-items-primary .branded-page-module-title‘).each(function(){
var $category = $(this).find(‘a‘).first();
var item = {
name : $category.text().trim(),
url : ‘https://www.youtube.com‘ + $category.attr(‘href‘)
};
//根據URL判斷為訂閱號或者是視頻分類
if(item.url.indexOf(‘list‘)!==-1){
item.channelId = $channelId[1];
}else{
var s = item.url.match(/channel\/([a-zA-Z0-9_-]+)/);
item.id = s[1];
}
//獲取youtube某個訂閱號下的視頻分類
if(item.name!==‘‘){
categoryList.push(item);
}
});
callback(null,categoryList);
}
}
}
接著調用categoryList函數：
categoryList(‘https://www.youtube.com/channel/UClgRkhTL3_hImCAmdLfDE4g‘,function(err,categoryList){
if(err){
return console.log(err);
}
return console.log(categoryList);
});
在後臺運行就得到了視頻分類信息，這是會發現視頻分類裏面又包含了某些訂閱號，而我們只需要提取視頻分類。
去除訂閱號信息（當然也可以添加到訂閱號列表，然後再依次讀取訂閱號下的視頻分類）
//獲取youtube某個訂閱號下的視頻分類
if(item.name!==‘‘){
categoryList.push(item);
}
替換為
//獲取youtube某個訂閱號下的視頻分類
if(item.categoryName!==‘‘&&item.hasOwnProperty(‘channelId‘)){
categoryList.push(item);
}這是再運行會發現訂閱號的信息已經剔除了，接下來進入到下一層，通過視頻分類獲取視頻列表
二、獲取視頻列表
我們以最賣座電影為例，獲取其下面的視頻列表。點擊打開頁面，我們會發現該分類下視頻列表全部在在裏面，我們同樣只獲取其url 以及名稱。
點擊檢查（ps：我用的Google瀏覽器），先查看下網頁結構，再用cheerio進行解析。檢查發現我們可以通過tbody中的tr獲取每個視頻。
nodejs爬蟲筆記（三）