1. 程式人生 > >1、歷史天氣查詢網站-準備工作

1、歷史天氣查詢網站-準備工作

爬蟲demo oracle數據 target rac 效果 由於 www 網站 時間

一、引言

一直想學習Sql Server、Oracle數據庫的優化技巧,以及一些Html的酷炫報表,可是沒有數據。如果是自己造數據,覺得太麻煩,同時效果也不好。於是乎小編想到了爬蟲,爬取網上的數據。

既然決定采用爬蟲獲取數據,下面就開始思考選擇爬去什麽類型的數據。有小說數據、豆瓣電影、天氣數據等等,最終小編選擇了天氣數據。百度了幾天了,瀏覽天氣網站,發現歷史天氣查詢網站的數據比較符合小編的感官,下面貼該網站的界面圖。

二、目標網站截圖

1、天氣查詢網站首頁http://lishi.tianqi.com/

技術分享

2、點擊隨便選擇一個城市(阿城)

技術分享

3、點擊查看2017年4月天氣

技術分享

小編最終想要的爬取的數據是阿城的每天天氣數據,即日期,最高氣溫,最低氣溫,天氣,風向,風力。

三、準備工作

由於小編從畢業到現在的五年時間裏,一直在用開發C#開發程序。雖然C#也是可以做爬蟲工具,如果有時間的話以後小編會和大家分享一個C#異步編程的爬蟲demo,但是現在還要想專業靠齊。

閑話少說,下面是我開發用到的軟件。

1、Python 3.6

技術分享

2、Sql Server

技術分享

該軟件可以去http://www.itellyou.cn/下載

技術分享

3、Pycharm

技術分享

四、總結

軟件工具需要這三個就可以了。

小編自學了一段時間的Python,沒有系統的看過一本Python的書籍。知識完全來源於百度及各位博主的無私奉獻,如果有什麽不對的地方,請各位勿噴。

另外,如果以後有時間的話會和大家分享.Net制作的爬蟲工具。

1、歷史天氣查詢網站-準備工作