1. 程式人生 > >《BI那點兒事》SQL Server 2008體系架構

《BI那點兒事》SQL Server 2008體系架構

Microsoft SQL Server是一個提供了聯機事務處理、資料倉庫、電子商務應用的資料庫和資料分析的平臺。
體系架構是描述系統組成要素和要素之間關係的方式。Microsoft SQL Server系統的體系結構是對Microsoft SQL Server的主要組成部分和這些組成部分之間關係的描述。
Microsoft SQL Server 2008系統由4個主要部分組成,這4個部分被稱為4個服務,這些服務分別是資料庫引擎、分析服務、報表服務和整合服務,這些服務之間相互存在和相互應用,它們的關係示意圖如圖所示。
SQL Server 2008體系架構示意圖

資料庫引擎
資料庫引擎(SQL Server Database Engine,SSDE)是Microsoft SQL Server 2008統的核心服務,負責完成業務資料的儲存、處理、查詢和安全管理。
例如,建立資料庫、建立表、執行各種資料查詢、訪問資料庫等操作,都是由資料庫引擎完成的。
在大多數情況下,使用資料庫系統實際上就是使用資料庫引擎。
例如,在某個使用Microsoft SQL Server 2008系統作為後臺資料庫的航空公司機票銷售資訊系統中, Microsoft SQL Server 2008系統的資料庫引擎服務負責完成機票銷售資料的新增、更新、刪除、查詢及安全控制等操作。

功能元件
資料庫引擎本身也是一個複雜的系統,它包括了許多功能元件,例如Service Broker、複製、全文搜尋、通知服務等。
Service Broker提供了非同步通訊機制,可以用於儲存、傳遞訊息。
複製是指在不同的資料庫之間對資料和資料庫物件進行復制和分發,保證資料庫之間同步和資料一致性的技術。複製經常用於物理位置不同的伺服器之間的資料分發,它可以通過區域網、廣域網、撥號連線、無線連線和 Internet 分發到不同位置的遠端或移動使用者。
全文搜尋提供了基於關鍵字的企業級的搜尋功能。
通知服務提供了基於通知的開發和部署平臺。

分析服務

分析服務(SQL Server Analysis Services,SSAS)提供了OLAP和資料探勘功能,可以支援使用者建立資料倉庫。
相對OLAP來說,OLTP是由資料庫引擎負責完成的。使用SSAS服務,可以設計、建立和管理包含了來自於其他資料來源資料的多維結構,通過對多維資料進行多個角度的分析,可以支援管理人員對業務資料的更全面的理解。
另外,通過使用SSAS服務,使用者可以完成資料探勘模型的構造和應用,實現知識發現、表示和管理。
例如,在航空公司的機票銷售資訊系統中,可以使用Microsoft SQL Server 2008系統提供的SSAS服務完成對客戶的資料探勘分析,可以發現更多有價值的資訊和知識,從而為減少客戶流失、提高客戶管理水平提供有效的支援。
分析服務的主要元件是Business Intelligence Development Studio(簡稱為BIDS)

。BIDS是一個管理工具,為整合服務、報表服務、分析服務和資料探勘等提供了一個整合平臺。基於Visual Studio 2008的BIDS支援使用者開發商業智慧應用程式,使用者可以在該平臺中進行編寫程式碼、除錯及版本控制等工作。

分析服務概述

SQL Server 2008中包含了一個SQL Server 2008分析服務的單獨程式,可以用來對SQL Server和其他OLE DB資料庫執行OLAP分析。

建立分析服務專案

使用分析服務,首先就必須建立分析服務專案。一個分析服務專案包含資料來源、資料來源檢視、多維資料集、維度、挖掘結構、角色、程式集和雜項8個子資料夾,每個資料夾中存放相應的物件。

建立多維資料集

建立多維資料集的方法有兩種:第一種方法是先定義獨立於任何多維資料集的維度,然後再定義基於這些維度的一個多維資料集;第二種方法是使用“多維資料集嚮導”來建立多維資料集和相關維度。

處理和瀏覽多維資料集

處理多維資料集將使分析服務預先計算包含多維資料集中資料的聚合。

新增篩選條件

在瀏覽多維資料集時,可以為顯示的資料新增一些篩選條件,更精確地去分析資料。

使用資料探勘嚮導

使用分析服務提供的資料探勘嚮導,對當前多維資料集進行挖掘分析。

報表服務

報表服務(SQL Server Reporting Services,SSRS)為使用者提供了支援Web的企業級的報表功能。
通過使用Microsoft SQL Server 2008系統提供的SSRS服務,使用者可以方便地定義和釋出滿足自己需求的報表。
無論是報表的佈局格式,還是報表的資料來源,使用者都可以輕鬆地實現。
這種服務極大地便利了企業的管理工作,滿足了管理人員高效、規範的管理需求。
例如,在航空公司的機票銷售資訊系統中,使用Microsoft SQL Server 2008系統提供的SSRS服務可以方便地生成Word、PDF、Excel等格式的報表。

報表服務概述

SQL Server 2008報表服務(Reporting Services,SSRS)提供了各種現成可用的工具和服務,幫助資料庫管理員建立、部署和管理單位的報表,並提供了能夠擴充套件和自定義報表功能的程式設計功能。

使用報表嚮導設計報表

使用報表嚮導建立報表是比較常用且簡單的方法,其實現過程在Microsoft SQL Server 2008的工具Business Intelligence Development Studio(BIDS)中完成。

使用報表設計器

雖然使用報表嚮導可以快速地建立報表,滿足大多數使用者的需求,但對於建立複雜或者自由格式的報表還是具有一定的侷限性。在這種情況下,就可以使用報表設計器來自主設計報表。

設計引數化報表

建立報表之後,為了進一步精確報表中顯示的資料,可以通過為報表新增引數的方式控制報表中包含的資料資訊。在SQL Server 2008中可以利用輸入值來維護報表,則稱這種報表為引數化的報表。

配置報表伺服器

對當前報表伺服器的內容進行配置。

釋出報表

設計好一個報表之後,需要將該報表釋出到已經設定好的報表伺服器上,供其他人檢視。

管理報表

在報表管理器中,管理員可以對已經發布的報表進行管理,比如建立資料夾、刪除檔案和轉移檔案等操作。

整合服務
整合服務(SQL Server Integration Services,SSIS)是一個數據整合平臺,可以完成有關資料的提取、轉換、載入等。
例如,對於分析服務來說,資料庫引擎是一個重要的資料來源,如何將資料來源中的資料經過適當地處理載入到分析服務中以便進行各種分析處理,這正是SSIS服務所要解決的問題。
重要的是,SSIS服務可以高效地處理各種各樣的資料來源,除了Microsoft SQL Server資料之外,還可以處理Oracle、Excel、XML文件、文字檔案等資料來源中的資料。

SSIS是Microsoft SQL Server 2005/8 Integration Services的簡稱,是生成高效能資料整合解決方案.
包括資料的抽取,轉換,載入的一個平臺,簡稱ETL。這個平臺主要是用於商業智慧中,來抽取資料適合的資料到資料倉庫的一個工具,當然也可以用到一般的系統中,做資料的匯入,匯出等。
俗話說:“十年磨一劍”,Microsoft 通過5年時間的精心打造,於2005年濃重推出Sql Server 2005,這是自SQL Server 2000 以後的又一曠世之作。這套企業級的資料庫解決方案,主要包含了以下幾個方面:資料庫引擎服務、資料探勘、Analysis Services、Integration Services、Reporting Services 這幾個方面,其中Integration Services (即SSIS),就是他們之間的中轉站、紐帶,將各種源頭的資料,經ETL到資料倉庫,建立多維資料集,然後進行分析、挖掘並將結果通過Reporting Services 送達給企業各級使用者,為企業的規劃決策、監督執行保駕護航。

現在很多人都把SSIS 說成是一個ETL (Extract-Transform-Load)工具,我個人覺得不太準確,或許是大家基本上都把他做為ETL 使用,其實SSIS已經超越了ETL的功能,ETL 僅是其中之一,它在其它方面也有非常突出的表現:

在資料庫維護方面

資料庫備份;

統計資訊更新;

資料庫完整性檢查;

索引重建

SSIS 包執行;

SSAS 任務處理。

業務處理

執行SQL 任務。

Web Service 任務。

作業系統維護

WMI事件觀察器任務

檔案系統任務。

其它

執行SQL 任務

執行程序任務

ActiveX 指令碼任務

指令碼任務(VB/C#).

執行Web Service 服務

尤其是上面的第四點,可以執行SQL 任務,可以執行Web Service 服務,可以執行系統程序,可以執行(VB/C#)指令碼任務,這給了我們多大想象的空間,還有什麼例外的?強啊。不得不佩服務一下。

  SSIS(SQLServer整合服務)是一個嵌入式應用程式,用於開發和執行ETL(解壓縮、轉換和載入)包。SSIS代替了SQL2000的DTS。整合服務功能既包含了實現簡單的匯入匯出包所必需的Wizard導向外掛、工具以及任務,也有非常複雜的資料清理功能。SQLServer2008SSIS的功能有很大的改進和增強,比如它的執行程式能夠更好地並行執行。在SSIS2005,資料管道不能跨越兩個處理器。而SSIS2008能夠在多處理器機器上跨越兩個處理器。而且它在處理大件包上面的效能得到了提高。SSIS引擎更加穩定,鎖死率更低。
Lookup功能也得到了改進。Lookup是SSIS一個常用的獲取相關資訊的功能。比如從CustomerID查詢CustomerName,獲取資料集。Lookup在 SSIS中很常見,而且可以處理上百萬行的資料集,因此效能可能很差。SQL2008對Lookup的效能作出很大的改進,而且能夠處理不同的資料來源, 包括ADO.NET,XML,OLEDB和其他SSIS壓縮包。

SSIS 應用場景
SSIS 應用主要是在一些商業智慧的大型資料系統中,對資料的抽取,清洗等,以獲得高質量的資料,是企業在做分析的時候分析出準確的結果。同時SSIS也會應用於日常的資料管理中,比如一些DBA對資料庫的管理,對資料庫Job的管理,對資料庫的遷移,合併等工作。

SSIS 的體系結構
主要由四部分組成:Integration Services 服務、Integration Services 物件模型、Integration Services 執行時和執行時可執行檔案以及封裝資料流引擎和資料流元件的資料流任務(如圖):

相關推薦

BI點兒SQL Server 2008體系架構

Microsoft SQL Server是一個提供了聯機事務處理、資料倉庫、電子商務應用的資料庫和資料分析的平臺。體系架構是描述系統組成要素和要素之間關係的方式。Microsoft SQL Server系統的體系結構是對Microsoft SQL Server的主要組成部分和這些組成部分之間關係的描述。Mic

BI點兒》Microsoft 線性迴歸演算法

Microsoft 線性迴歸演算法是 Microsoft 決策樹演算法的一種變體,有助於計算依賴變數和獨立變數之間的線性關係,然後使用該關係進行預測。該關係採用的表示形式是最能代表資料序列的線的公式。例如,以下關係圖中的線是資料最可能的線性表示形式。 關係圖中的每個資料點都有一個與該資料點與迴歸線之間距離關

BI點兒》資料探勘各類演算法——準確性驗證

準確性驗證示例1:——基於三國志11資料庫 資料準備: 挖掘模型:依次為:Naive Bayes 演算法、聚類分析演算法、決策樹演算法、神經網路演算法、邏輯迴歸演算法、關聯演算法提升圖: 依次排名為: 1. 神經網路演算法(92.69% 0.99)2. 邏輯迴歸演算法(92.39% 0.99)3. 決策

BI點兒》淺析十三種常用的資料探勘的技術

一、前沿 資料探勘就是從大量的、不完全的、有噪聲的、模糊的、隨機的資料中,提取隱含在其中的、人們事先不知道的但又是潛在有用的資訊和知識的過程。資料探勘的任務是從資料集中發現模式,可以發現的模式有很多種,按功能可以分為兩大類:預測性(Predictive)模式和描述性(Descriptive)模式。在應用

BI點兒》資料探勘初探

什麼是資料探勘? 資料探勘(Data Mining),又稱資訊發掘(Knowledge Discovery),是用自動或半自動化的方法在資料中找到潛在的,有價值的資訊和規則。 資料探勘技術來源於資料庫,統計和人工智慧。 資料探勘能夠做什麼 對企業中產生的大量的資料進行分析,找出其中潛藏的規

BI點兒》Microsoft 神經網路演算法

Microsoft神經網路是迄今為止最強大、最複雜的演算法。要想知道它有多複雜,請看SQL Server聯機叢書對該演算法的說明:“這個演算法通過建立多層感知神經元網路,建立分類和迴歸挖掘模型。與Microsoft決策樹演算法類似,在給定了可預測屬性的每個狀態時, Microsoft神經網路演算法計算輸入屬性

BI點兒》Microsoft 順序分析和聚類分析演算法

Microsoft 順序分析和聚類分析演算法是由 Microsoft SQL Server Analysis Services 提供的一種順序分析演算法。您可以使用該演算法來研究包含可通過下面的路徑或“順序”連結到的事件的資料。該演算法通過對相同的順序進行分組或分類來查詢最常見的順序。下面是一些順序示例:

BI點兒》資料流轉換——查詢轉換

查詢轉換通過聯接輸入列中的資料和引用資料集中的列來執行查詢。是完全匹配查詢。在源表中查詢與字表能關聯的所有源表記錄。準備資料。源表 T_QualMoisture_Middle_Detail字典表 T_DIC_QualProcess資料流任務設計圖: 設計步驟: (adsbygo

BI點兒》資料流轉換——多播、Union All、合併、合併聯接

建立測試資料: CREATE TABLE FactResults ( Name VARCHAR(50) , Course VARCHAR(50) , Score INT ) INSERT INTO FactResults

BI點兒》Microsoft 決策樹演算法——找出三國武將特性分佈,獻給廣大的三國愛好者們

根據遊戲《三國志11》武將資料,利用決策樹分析,找出三國武將特性分佈。其中變數包括統率、武力、智力、政治、魅力、身分。變數說明:統率:武將帶兵出征時的部隊防禦力。統帥越高受到普通攻擊與兵法攻擊越少。武力:武將帶兵出征時的部隊攻擊力,武力越高發動兵法或者普通攻擊時對地方部隊的傷害就越高;並且當發動單挑時雙方武將

BI點兒》資料探勘的主要方法

一、迴歸分析目的:設法找出變數間的依存(數量)關係, 用函式關係式表達出來。所謂迴歸分析法,是在掌握大量觀察資料的基礎上,利用數理統計方法建立因變數與自變數之間的迴歸關係函式表示式(稱迴歸方程式)。迴歸分析中,當研究的因果關係只涉及因變數和一個自變數時,叫做一元迴歸分析;當研究的因果關係涉及因變數和兩個或兩個

BI點兒—資料的藝術》理解維度資料倉庫——事實表、維度表、聚合表

事實表 在多維資料倉庫中,儲存度量值的詳細值或事實的表稱為“事實表”。一個按照州、產品和月份劃分的銷售量和銷售額儲存的事實表有5個列,概念上與下面的示例類似。  Sate Product Mouth Units Dollars

BI點兒》SSRS圖表和儀表——雷達圖分析三國超一流謀士、統帥資料(圖文並茂)

雷達圖分析三國超一流謀士、統帥資料,獻給廣大的三國愛好者們,希望喜歡三國的朋友一起討論,加深對傳奇三國時代的瞭解 建立資料環境: -- 抽取三國超一流謀士TOP 10資料 DECLARE @t1 TABLE ( [姓名] NVARCHAR(255) , [統率]

BI點兒》運用標準計分和離差——分析三國超一流統帥綜合實力排名 絕對客觀,資料說話

資料分析基礎概念:標準計分: 1、無論作為變數的滿分為幾分,其標準計分的平均數勢必為0,而其標準差勢必為1。2、無論作為變數的單位是什麼,其標準計分的平均數勢必為0,而其標準差勢必為1。公式為: 離差:離差就是應用標準計分所得的數值。1、無論作為變數的滿分為幾分,其離差的平均數勢必為50,而其標準差勢必為1

BI點兒》Microsoft 決策樹演算法

Microsoft 決策樹演算法是由 Microsoft SQL Server Analysis Services 提供的分類和迴歸演算法,用於對離散和連續屬性進行預測性建模。對於離散屬性,該演算法根據資料集中輸入列之間的關係進行預測。它使用這些列的值(也稱之為狀態)預測指定為可預測的列的狀態。具體地說,該演

BI點兒》資料流轉換——OLE DB 命令轉換

OLE DB命令對資料流中的資料行執行一個OLE DB命令。它針對資料表中的每一行進行更新操作,可以事先將要更新的資料存放在表中。或者針對一個有輸入引數的儲存過程,可以將這些引數存放在一個數據表中,不用每次都輸入引數。示例資料準備: CREATE TABLE SourceParametersForSt

BI點兒》ETL中的關鍵技術

ETL(Extract/Transformation/Load)是BI/DW的核心和靈魂,按照統一的規則整合並提高資料的價值,是負責完成資料從資料來源向目標資料倉庫轉化的過程,是實施資料倉庫的重要步驟。 ETL過程中的主要環節就是資料抽取、資料轉換和加工、資料裝載。為了實現這些功能,各個ETL工具一般會

BI點兒》Cube的儲存

關係 OLAP (ROLAP)ROLAP的基本資料和聚合資料均存放在關係資料庫中;ROLAP 儲存模式使得分割槽的聚合儲存在關係資料庫的表(在分割槽資料來源中指定)中。但是,可為分割槽資料使用 ROLAP 儲存模式,而不在關係資料庫中建立聚合。使用 ROLAP 的維度的資料實際上儲存在用於定義維度的表中。相對

BI點兒》資料流轉換——排序

排序轉換允許對資料流中的資料按照某一列進行排序。這是五個常用的轉換之一。連線資料來源開啟編輯介面,編輯這種任務。不想設定為排序列的欄位不要選中,預設情況下所有列都會選中。如圖所示,按照TotalSugar_Cnt排序,並將所有列輸出。 在底部的表格中,可以設定輸出列的別名,是否按照列來排序。Sort Ord

BI點兒》三國資料分析系列——蜀漢五虎上將與魏五子良將武力分析,絕對的經典分析

獻給廣大的三國愛好者們,希望喜歡三國的朋友一起討論,加深對傳奇三國時代的瞭解 資料分析基礎概念:集中趨勢分析是指在大量測評資料分佈中,測評資料向某點集中的情況。總體(population)是指客觀存在的,並在同一性質的基礎上結合起來的許多個別單位的整體,即具有某一特性的一類事物的全體,又叫母體或全域。簡單地