1. 程式人生 > >豆瓣電影top250爬取並保存在MongoDB裏

豆瓣電影top250爬取並保存在MongoDB裏

表名 title sta class tinc IV 邏輯運算符 取出 mov

首先回顧一下MongoDB的基本操作:

數據庫,集合,文檔
db,show dbs,use 數據庫名,drop 數據庫
db.集合名.insert({})
db.集合名.update({條件},{$set:{}},{multi:true})
db.集合名.remove({條件})
db集合名.find({條件},{投影}).limit().skip().sort().count().distinct()

數據庫 增加 修改 刪除 查詢
mysql	insert update delete select
redis	set	set	del	get
mongodb	insert	update	remove	find,aggregate

string
hash
list
set
zset

增加
mysql:insert into 表名(列) values(值)
mongo:db.集合名.insert({})

修改:
mysql:update 表名 set 列=值 where 條件
mongo:db.集合名.update({條件},{值$set},{是否修改多條})

刪除:
mysql:delete from 表名 where ....
mongo:db.集合名.remove({條件},{是否刪除多條})

查詢:
db.stu.find({},{})
比較運算符,邏輯運算符,$where
limit(),skip(),sort(),count(),distinct()

 技術分享圖片

 

首先使用xpath提取出要爬取的信息:我們這個項目需要爬取的信息有:標題,信息,評分,簡介

第一頁鏈接:https://movie.douban.com/top250

第二頁鏈接:https://movie.douban.com/top250?start=25&filter=

第三頁鏈接:https://movie.douban.com/top250?start=50&filter=

規律:https://movie.douban.com/top250?start=\d+&filter=

標題://a/span[@class="title"][1]

信息://div[@class="bd"]/p[1]/text()

評分://div[@class="star"]/span[2]/text()

簡介://span[@class="inq"]/text()

然後使用sscrapy startproject douban 創建項目

sscrapy genspider dopuban movie.douban.com

然後依次編寫下面的文件:

技術分享圖片items.py 技術分享圖片doubanmovie.py 技術分享圖片settings.py 技術分享圖片pipelines.py

      

豆瓣電影top250爬取並保存在MongoDB裏