本文專案採用python3.6版本語言，利用scrapy框架進行爬取。

該專案實現的功能是爬取某城市的天氣以及往後預報一週的天氣，並將爬取到的資訊儲存為.txt檔案和寫入mysql資料庫。利用scrapy爬蟲就像是做填空題，

只需要在相應的檔案裡填入相應的內容，連檔名都不用該。下面是本次專案的目錄結構：

----weather

----weather

----spiders

__init__.py

wuhanSpider.py

__init__.py

items.py

pipelines.py

settings.py

scrapy.cfg

上述目錄結構中，沒有後綴名的為資料夾，有後綴的為檔案。我們需要修改只有wuhanSpider.py、items.py、pipelines.py、settings.py這四個檔案。

其中items.py決定爬取哪些專案，wuhanSpider.py決定怎麼爬，setting.py決定由誰去處理爬取的內容，pipelines決定爬取後內容怎樣處理，這裡的

pipelines是將爬取的資訊儲存在.txt檔案中，後面還會提供一個pipelines2mysql.py檔案，這個檔案是將資訊儲存到mysql資料庫中，小夥伴們可以用

pipelines2mysql檔案的內容直接替換pipeLines裡內容，也可以將兩個檔案放在一起，呼叫的時候改一下 名稱即可。

1、選擇爬取的專案items.py

#決定爬取哪些專案

import scrapy

class WeatherItem(scrapy.Item):
    cityDate=scrapy.Field()
    week=scrapy.Field()
    img=scrapy.Field()
    temperature=scrapy.Field()
    weather=scrapy.Field()
    wind=scrapy.Field()
 

#定義如何爬取
import scrapy
from weather.items import WeatherItem

class WuHanSpider(scrapy.Spider):
    name="wuHanSpider"
    allowed_domains=['tianqi.com']
    citys=['wuhan','shanghai']
    start_urls=[]
    for city in citys:
        start_urls.append('http://'+city+'.tianqi.com')

    def parse(self,response):
        subSelector=response.xpath('//div[@class="tqshow1"]')
        items=[]
        for sub in subSelector:
            item=WeatherItem()
            cityDates=''
            for cityDate in sub.xpath('./h3//text()').extract():
                cityDates+=cityDate
            item['cityDate']=cityDates
            item['week']=sub.xpath('./p//text()').extract()[0]
            item['img']=sub.xpath('./ul/li[1]/img/@src').extract()[0]
            temps=''
            for temp in sub.xpath('./ul/li[2]//text()').extract():
                temps+=temp
            item['temperature']=temps
            item['weather']=sub.xpath('./ul/li[3]//text()').extract()[0]
            item['wind']=sub.xpath('./ul/li[4]//text()').extract()[0]
            items.append(item)
        return items


 

我們需要尋找url的規律，試驗可以發現上海的天氣url為：http://shanghai.tianqi.com/ ，本文只爬取了武漢和上海兩個地區的天氣，讀者也可以在上面citys

列表中多新增幾個城市。

開啟網頁原始碼，如下圖所示：

可以發現天氣資訊都在<div class="tqshow1">標籤下，讀者重點看下程式碼裡是如何一層一層的找到我們需要爬取的資訊的。

3.1、儲存爬取的結果為.txt檔案pipelines.py

#儲存爬取結果
import time
import os.path
from urllib import request

class WeatherPipeline(object):
    def process_item(self,item,spider):
        today=time.strftime('%Y-%m-%d',time.localtime())
        fileName=today+'.txt'	
        with open(fileName,'a') as fp:
            fp.write((item['cityDate']+'\t'))
            fp.write(item['week']+'\t')
            imgName=os.path.basename(item['img'])
            fp.write(imgName+'\t')
            if os.path.exists(imgName):
                pass
            else:
                with open(imgName,'wb') as fp:
                    response=request.urlopen(item['img'])
                    fp.write(response.read())
            fp.write(item['temperature']+'\t')
            fp.write(item['weather']+'\t')
            fp.write(item['wind']+'\t\n')
            time.sleep(1)
        return item

本專案儲存進的mysql資料庫名scrapyDB，建表的程式碼如下：

create table weather(
	id  int auto_increment,
	cityDate char(24),
	week char(6),
	img char(20),
	temperature char(12),
	weather char(20),
	wind char(20),
	PRIMARY KEY(id)
);

import pymysql
import os.path

class WeatherPipeline(object):
    def process_item(self,item,spider):
        cityDate=item['cityDate']
        week=item['week']
        img=os.path.basename(item['img'])
        temperature=item['temperature']
        weather=item['weather']
        wind=item['wind']

        conn=pymysql.connect(
            host='localhost',
            port=3306,
            user='root',
            passwd='yourPassword',
            db='scrapyDB',
            charset='utf8'
            )
        cur=conn.cursor()
        cur.execute("insert into weather(cityDate,week,img,temperature,weather,wind) values (%s,%s,%s,%s,%s,%s)",(cityDate,week,img,temperature,weather,wind))
        cur.close()
        conn.commit()
        conn.close()
        
        return item

BOT_NAME='weather'

SPIDER_MODULES=['weather.spiders']

NEWSPIDER_MODULE='weather.spiders'

ITEM_PIPELINES={'weather.pipelines.WeatherPipeline':1,
                'weather.pipelines2mysql.WeatherPipeline':2}

5、配置檔案scrapy.cfg

[settings]
default=weather.settings

[deploy]
project=weather

的資料夾可以作為python的模組使用。

6、怎麼執行

cmd->cd 將檔案調到我們專案所在的這一層檔案，也就是上面目錄結構中scrapy.cfg所在的這一層資料夾，然後輸入命令：scrapy crawl wuHanSpider

執行結束後，會在專案根目錄下產生“2017-06-01.txt”檔案，裡面儲存的就是近一週的天氣預報,也會下載下來相應天氣的圖片，同時也會儲存進mysql

的資料庫。這裡的wuHanSpider是我們WuHanSpider類中name="wuHanSpider"的值，更改name的值輸入的命令也將更改。

本部落格有參考《Python網路爬蟲實戰》一書，該書採用的是python2.x在Linux系統下執行的，採用python3.x在windows下執行的可以參考本部落格。