由於個人研究需要，需要採集天氣歷史資料，前一篇文章：C#+HtmlAgilityPack+XPath帶你採集資料(以採集天氣資料為例子)，介紹了基本的採集思路和核心程式碼，經過1個星期的採集，歷史資料庫基本全了，現在開放該資料庫，目的是為了讓可能需要該型別做相關研究準備的，至於實時天氣的採集本專案也做了，暫時不公佈，如果有需求的，單獨好我聯絡，原因很簡單，人家小站也不容易，大家一起拖，容易搞死，主要大家都不能用。

1.天氣資料庫介紹

    該資料的基本情況如下：

• 該資料庫目前覆蓋了全國34個省、直轄市、自治區以及特別行政區的所有縣級市區。
  

• 該資料庫的歷史天氣時間範圍是2011年1月至2015年8月底的資料，實時天氣預報的更新介面暫時不開放，但我們會對核心採集進行簡單的介紹，請看第3節內容。
  

• 包括的天氣資料有：天氣情況，氣溫情況，風力情況。

• 目前總的天氣記錄條數為390萬，，大小為570M，壓縮後的版本大小為60M，後續還會增加，考慮每2-3個月更新一次。目前為一個總庫
  

• 考慮到實際的城市等級，我對省份和城市進行了大概分級，具體研究分析的時候可以自己單獨提取城市，單獨處理。

　　1.省、直轄市、自治區，特別行政區，等級：1

　　2.地級市，或者同等州 ，等級：2

　　3.縣市區，等級：3

　　4.省會中心城市：5

    本文使用C#+XCode進行開發，大部分查詢方法都在實體類中寫好了。下面我們將會簡單介紹一些。

2.資料庫設計

    該資料庫設計比較簡單，第一個表是基礎城市資訊表，儲存城市的名稱，等級，程式碼，所屬省份以及地區等基本資訊；第二個表是原始天氣資料表，儲存採集過來的原始天氣資訊，主要資訊是名稱，天氣狀況，考慮到資料小，對一些欄位進行了冗餘，避免重複查詢。第三個表是處理後的天氣資料表，如何處理看個人情況進行，我自己還沒想好，只是先採集了原始資料。資料庫的結構如下圖：

    上述3個表的基本結構看上面，比較簡單，有的表字段進行了冗餘，沒必要為了所謂的正規化把自己搞死。看看下面Gif動態演示圖：

3.關於採集預報資訊

//直接採集月份，每個城市從2011 01 開始的資料至今都有
String url = String.Format("http://www.tianqihoubao.com/yubao/{0}.html", cityName);
//先要拼接連結，根據名稱                
var docText = HtmlHelper.GetWebClient(url);
var doc = new HtmlDocument(); doc.LoadHtml(docText);
var res = doc.DocumentNode.SelectSingleNode(@"/html[1]/body[1]/div[2]/div[6]/div[1]/div[1]/table[1]");
if (res != null)
{
	var dd = res.SelectNodes(@"tr");
	if (dd.Count < 3) return;//3或者4個以上子節點tr
	if ((dd.Count - 1) % 2 == 0) //tr成對出現
	{
		Int32 N = (dd.Count - 1) / 2;
		for (int i = 0; i < N; i++)
		{
			//日期 - 天氣狀況 - 氣溫 - 風力風向
			//白天
			var td = dd[2 * i + 1].SelectNodes(@"td");
			var date = td[0].InnerText.Replace("&nbsp;", "").Trim();
			var btq = td[2].InnerText.Replace("&nbsp;", "").Trim();
			var bqw = td[3].InnerText.Replace("&nbsp;", "").Trim();
			var bfx = td[4].InnerText.Replace("&nbsp;", "").Trim();
			//晚上
			var tdw = dd[2 * i + 2].SelectNodes(@"td");
			var wtq = tdw[1].InnerText.Replace("&nbsp;", "").Trim();
			var wqw = tdw[2].InnerText.Replace("&nbsp;", "").Trim();
			var wfx = tdw[3].InnerText.Replace("&nbsp;", "").Trim();
			Console.WriteLine("{0}/{1},{2}/{3},{4}/{5},{6}", wtq, btq, wqw, bqw, wfx, bfx,date);
		}
	}		
}

4.基本使用方法

    下面給出資料庫的幾個常規查詢方法，如果懂XCode的朋友，更加容易理解，熟悉表結構就行了。

4.1 查詢某個省份所有地級市列表

　　由於地級市的等級為2或者5，所以要注意一些，而且縣級市的省份屬性裡面也包括了Province，因此不能單獨判定。

/// <summary>查詢某個省份，所有地級市列表</summary>
/// <param name="provinceName">省份名稱</param>
/// <returns></returns>
public static EntityList<BaseCityInfo> FindAllCityByProvince(String provinceName)
{
	return BaseCityInfo.FindAll(
	       BaseCityInfo._.Province == provinceName &
               BaseCityInfo._.Level>1 & //不能為省份
               BaseCityInfo._.Level !=3);//要包括省會中心城市，也就是Level=2或者5
}

4.2 查詢地級市下所有縣市列表

　　縣級市都是等級為3，所以查詢地區名稱以及等級就可以了。

/// <summary>查詢某個地級市下面的所有縣級市列表</summary>
/// <param name="areaName">市區名稱</param>
/// <returns></returns>
public static EntityList<BaseCityInfo> FindAllCityByArea(String areaName)
{
	return BaseCityInfo.FindAll(BaseCityInfo._.Area == areaName &
				BaseCityInfo._.Level ==3);//Level=3是縣級市區
}

4.3 查詢某個地區某個月的天氣情況

　　查詢某個地區，和時間範圍的天氣情況，直接加條件即可，地區按照名稱來XCode的查詢語法舉一反三，應該比較好理解。

/// <summary>查詢某個地區某個月的天氣情況</summary>
/// <param name="cityName">城市名稱</param>
/// <returns></returns>
public static EntityList<OriginWeatherData> FindCityWeatherByMonth(String cityName)
{
	return OriginWeatherData.FindAll(
	       OriginWeatherData._.Name == cityName &
	       OriginWeatherData._.DateTime <= new DateTime(2015, 8, 31)&
	       OriginWeatherData._.DateTime >=new DateTime (2015,8,1),
	       OriginWeatherData._.DateTime.Asc(),null,0,0);
}

4.4 資料庫Sql查詢演示與XCode版程式碼

　　為了更加直觀，我們對資料庫進行了簡單的查詢演示，390萬代碼實際速度並不慢，看看效果。裡面的Sql語句，下面都將使用XCode程式碼進行重寫演示，大家可以借鑑用法：

 我們看看XCode的查詢方法：

//獲取所有的地級市+縣級市區的數量
var cityCount = BaseCityInfo.FindCount(BaseCityInfo._.Level > 1, null, null, 0, 0);
//獲取所有記錄總數,截至時間2015-08-29和2015-09-03
var totalCount = OriginWeatherData.FindCount();
//獲取從2015-08-21開始的上海地區的天氣情況
var shanghaiRecords = OriginWeatherData.FindAll
						(OriginWeatherData._.Name == "上海" &
						 OriginWeatherData._.DateTime > new DateTime(2015, 08, 20),
						 OriginWeatherData._.Id.Asc(), null, 0, 0);
//獲取上海地區總的天氣數目，注意只是上海地區總的，不包括下屬縣市區
var shCount = OriginWeatherData.FindCount(OriginWeatherData._.Name, "上海");
//獲取浙江省地級市區所有的天氣記錄 
var zjRecords = OriginWeatherData.FindAll
					(OriginWeatherData._.Province == "浙江" &
					(OriginWeatherData._.Level == 2 | 
					 OriginWeatherData._.Level == 5),
					 null,null,0,0);
//獲取2015年8月20日浙江省地級市區所有的天氣記錄
var zj = OriginWeatherData.FindAll
					(OriginWeatherData._.Province == "浙江" &
					 OriginWeatherData._.DateTime > new DateTime(2015, 08, 20) &
					 (OriginWeatherData._.Level == 2 | OriginWeatherData._.Level == 5),
					 null, null, 0, 0);

 看看結果：

5.資料庫和程式下載

    C#版訪問程式，注意是Sqlite是32位的版本：天氣資料庫訪問程式.rar

　使用方法：把資料庫放在bin目錄，或者自己修改配置檔案的地址。

　 資料大部分截至2015年8月30日-2015年9月2日，按照地區會有不一樣，以後會逐步同步起來。

    核心程式碼不直接開放，但完全免費對有需要的人開放。需要的人可以QQ聯絡，或者郵件聯絡我，請註明自己的一些基本個人資訊和用途。

    由於時間緊，考慮不夠全面，我將在下一個版本中對資料庫進行分庫，提高資料查詢效率。目前的資料庫對於sqlite版本來說，太大了，而且以後還會持續增加，如果有資源的朋友，可以幫忙掛一下。