1. 程式人生 > >ASP.NET讀取Excel中的資料轉存到資料庫(一)

ASP.NET讀取Excel中的資料轉存到資料庫(一)

【問題描述】

近日需要做一些資料倉庫的內容,發現數據庫搭好了以後,所有的資料檔案都是Excel儲存的。然而資料又是及其繁雜,所以在建立好了事實表和維度表以後,準備自己寫一個程式碼將Excel中多維的資料匯入到資料庫中。Excel表的部分資料如下圖所示


所以需要對資料進行處理,處理之後新增到資料庫中。

【準備工作】

首先需要找到從Excel讀取資料的程式碼。參考網址:http://www.jb51.net/article/34096.htm。程式碼如下:

(1)頁面上的程式碼

<div>       <%-- 檔案上傳控制元件  用於將要讀取的檔案上傳 並通過此控制元件獲取檔案的資訊--%>      
<asp:FileUpload ID="fileSelect" runat="server" />          
<%-- 點選此按鈕執行讀取方法--%>       
<asp:Button ID="btnRead" runat="server" Text="ReadStart" />
</div>  

(2)後臺處理程式碼
 //宣告變數(屬性)
 string currFilePath = string.Empty; //待讀取檔案的全路徑 
 string currFileExtension = string.Empty;  //檔案的副檔名 

 //Page_Load事件 註冊按鈕單擊事件 
 protected void Page_Load(object sender,EventArgs e) 
 { 
     
 }
 
 //按鈕單擊事件   //裡面的3個方法將在下面給出
 protected void btnRead_Click(object sender,EventArgs e)
 {
     Upload();  //上傳檔案方法
     if(this.currFileExtension ==".xlsx" || this.currFileExtension ==".xls")
       {
            DataTable dt = ReadExcelToTable(currFilePath);  //讀取Excel檔案(.xls和.xlsx格式)
       }
       else if(this.currFileExtension == ".csv")
         {
               DataTable dt = ReadExcelWidthStream(currFilePath);  //讀取.csv格式檔案
         }
 }
///<summary>
///上傳檔案到臨時目錄中 
///</ummary>
private void Upload()
{
HttpPostedFile file = this.fileSelect.PostedFile;
string fileName = file.FileName;
string tempPath = System.IO.Path.GetTempPath(); //獲取系統臨時檔案路徑
fileName = System.IO.Path.GetFileName(fileName); //獲取檔名(不帶路徑)
this.currFileExtension = System.IO.Path.GetExtension(fileName); //獲取檔案的副檔名
this.currFilePath = tempPath + fileName; //獲取上傳後的檔案路徑 記錄到前面宣告的全域性變數
file.SaveAs(this.currFilePath); //上傳
}

///<summary>
///讀取xls\xlsx格式的Excel檔案的方法 
///</ummary>
///<param name="path">待讀取Excel的全路徑</param>
///<returns></returns>
private DataTable ReadExcelToTable(string path)
{
//連線字串
string connstring = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + path + ";Extended Properties='Excel 8.0;HDR=NO;IMEX=1';"; // Office 07及以上版本 不能出現多餘的空格 而且分號注意
//string connstring = Provider=Microsoft.JET.OLEDB.4.0;Data Source=" + path + ";Extended Properties='Excel 8.0;HDR=NO;IMEX=1';"; //Office 07以下版本 因為本人用Office2010 所以沒有用到這個連線字串 可根據自己的情況選擇 或者程式判斷要用哪一個連線字串
using(OleDbConnection conn = new OleDbConnection(connstring))
{
conn.Open();
DataTable sheetsName = conn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables,new object[]{null,null,null,"Table"}); //得到所有sheet的名字
string firstSheetName = sheetsName.Rows[0][2].ToString(); //得到第一個sheet的名字
string sql = string.Format("SELECT * FROM [{0}],firstSheetName); //查詢字串
OleDbDataAdapter ada =new OleDbDataAdapter(sql,connstring);
DataSet set = new DataSet();
ada.Fill(set);
return set.Tables[0];
}
}

///<summary>
///讀取csv格式的Excel檔案的方法 
///</ummary>
///<param name="path">待讀取Excel的全路徑</param>
///<returns></returns>
private DataTable ReadExcelWithStream(string path)
{
DataTable dt = new DataTable();
bool isDtHasColumn = false; //標記DataTable 是否已經生成了列
StreamReader reader = new StreamReader(path,System.Text.Encoding.Default); //資料流
while(!reader.EndOfStream)
{
string meaage = reader.ReadLine();
string[] splitResult = message.Split(new char[]{','},StringSplitOption.None); //讀取一行 以逗號分隔 存入陣列
DataRow row = dt.NewRow();
for(int i = 0;i<splitResult.Length;i++)
{
if(!isDtHasColumn) //如果還沒有生成列
{
dt.Columns.Add("column" + i,typeof(string));
}
row[i] = splitResult[i];
}
dt.Rows.Add(row); //新增行
isDtHasColumn = true; //讀取第一行後 就標記已經存在列 再讀取以後的行時,就不再生成列
}
return dt;
}

【後續工作】

將Excel表存入到DataTable物件中,可以將讀取到的表格資料轉存到資料庫的事實表中。將所需要的時間、地域以及品種的ID值讀取以後,開始與Excel表中的資料一起存放到資料庫中。部分程式碼如下所示

int i, j;
            int region = 0;
            //獲取作物ID值
            cropnumber = int.Parse(CropID.Text.ToString());
            //獲得更新資料庫型別
            if (mianji.Checked == true)  //遇到播種面積時新增資料庫條目
            {
                for(i=2;i<40;i++)   //省份
                {
                    if (i == 3 || i == 9 || i == 13 || i == 21 || i == 28 || i == 34)  //跳過空白區域
                        continue;
                    //讀取地域ID值
                    string proname = exceldt.Rows[i][0].ToString().Replace(" ", "");
                    string sqlstr = "select Region_ID from [DimRegion] where Province_Name='" + proname + "'";
                    DataTable dt = new DataTable();
                    dt = BaseClass1.ReadTable(sqlstr);
                    region = int.Parse(dt.Rows[0][0].ToString());
                    for(j=1;j<60;j++)  //時間
                    {
                        float area = float.Parse(exceldt.Rows[i][j].ToString());
                        string str = "insert into[FactCropProducts](Time_ID,Region_ID,Croptype_ID,Area) values(" + j + "," + region + "," + cropnumber + "," + area + ")";
                        BaseClass1.execsql(str);
                    }
                }
            }

【後記】

這樣寫一個程式讀取Excel中的資料,大大節省了時間。但是還有幾個未解決的問題:

(1)如果Excel表第一個sheet的名字為中文名,第二個sheet為Sheet1。則使用上面的程式碼雖然是讀取第一個sheet的名稱,但是實際卻讀到的是Sheet1的內容。

(2)如果資料量巨大,需要的品種又多,這個程式碼就會有很大缺陷。就要一個一個輸入品種ID,然後一個一個Excel表進行匯入。浪費了人力也浪費了時間,所以這個程式碼的改進點還是不少的。