輕量級可嵌入多維分析後臺
問題的提出
多維分析(BI)系統後臺資料來源通常有三種選擇。一、普通資料庫;二、專業資料倉庫;三、BI 系統自帶的資料來源。
但是,這三種選擇都有各自的問題。普通資料庫一般都是行式儲存,很難獲得多維分析希望的高效能,只適用較小資料量。專業資料倉庫有不少是列式儲存的,效能問題不大,但是價格都比較昂貴,建設、擴充套件和維護成本也都非常高。BI 系統自帶的資料來源都比較封閉,只能為自家的 BI 前端提供支援,無法為多個不同廠家的前端提供資料服務。
解決思路與過程
集算器可以獨立承擔輕量級多維分析後臺的作用,相當於中小型資料倉庫或者資料集市。結構圖如下:
集算器可以將多維分析的資料事先以列存形式儲存到二進位制檔案中,稱為組表。多維分析前端應用拖拽生成 SQL,通過集算器 JDBC 提交。集算器對組表執行 SQL 查詢,將結果返回給多維分析前端。組表文件也可由集算器從各種異構資料來源採集資料並計算而來。
和普通資料庫方案相比,集算器列存的二進位制檔案能夠直接提升效能。而對於昂貴的專業資料庫和相對封閉的 BI 自帶資料來源,集算器可以提供更加經濟、簡便的解決方案,並能夠從各種異構資料來源採集資料。
集算器有三種部署方式:1、整合在前端應用中;2、獨立伺服器;3、叢集熱備。下面介紹具體方法。
原文內容更加精彩,詳情請閱讀原文
相關推薦
輕量級可嵌入多維分析後臺
問題的提出 多維分析(BI)系統後臺資料來源通常有三種選擇。一、普通資料庫;二、專業資料倉庫;三、BI 系統自帶的資料來源。 但是,這三種選擇都有各自的問題。普通資料庫一般都是行式儲存,很難獲得多維分析希望的高效能,只適用較小資料量。專業資料倉庫有不少是列式儲存的,效能問題不大,但是價格都比較昂貴,建設、
跨庫多維分析後臺的實現
問題的提出 多維分析(BI)系統後臺資料常常可能來自多個數據庫,這時就會出現跨庫取數計算的問題。 例如:從效能和成本考慮,往往會限制生產庫的容量,同時將歷史資料分庫存放,由ETL定期把生產庫中新產生的資料同步到歷史庫
大數據量多維分析項目Kylin調研二期
not creat aps trac 找到 概念 cati lee shell命令 一、 cube構建步驟 登錄頁面 創建Project 同步數據 1) 加載Hive表 2) 從同步的目錄中導入,即將上張圖中左側
給一句 SQL 就能做多維分析
就是 nbsp 分析 學習 127.0.0.1 多維 返回 應用程序 web 應用 上一篇我們以 Excel 文件數據集為例,介紹了如何把 Excel 的數據透視表嵌入到俺的應用程序中。愛學習的同學會問了,Excel 數據透視表可以使用 Excel 裏取到的任何數據,比如數
巧用模板變換多維分析表格樣式
自定義表格樣式 多維分析展現報表時,潤乾報表提供了一套預設的表格樣式,統一的表格樣式可以使業務人員減少報表美化的工作量。然而預設的樣式不可能迎合所有使用者的審美,為此潤乾提供了自定義表格樣式的功能,供使用者實現個性化的需求,下面小編就來教你如何改變預設表格的樣式。 先來看下預設的表格樣式,下
如何使用自定義模板實現個性化多維分析
自定義表格樣式 多維分析展現報表時,潤乾報表提供了一套預設的表格樣式,統一的表格樣式可以使業務人員減少報表美化的工作量。然而預設的樣式不可能迎合所有使用者的審美,為此潤乾提供了自定義表格樣式的功能,供使用者實現個性化的需求,下面小編就來教你如何改變預設表格的樣式。 先來看下預設的表格樣式,下
如何使用Java資料集進行web端的多維分析操作
看到文章標題,顧名思義應該也曉得本篇文章的重點內容是要說啥了吧? 沒錯,就是想針對程式資料集上的多維分析嘮幾毛錢的!所謂程式資料集,是指資料來源不是來自檔案和SQL,而是由程式現計算出來的。這種情況在許多BI系統中都會出現,BI系統自己管理資料模型,把資料庫擋在後面,不會直接開
在Java Web專案中引入Mondrian多維分析框架
本文完全轉載自:http://www.linuxidc.com/Linux/2014-09/107008.htm 我也是初學,為了方便以後檢視,所以轉到自己部落格上了。 -------------------------------------------------------------
如何使用預定義語義快速實現資料的多維分析
在《給一句 SQL 就能做多維分析》中我們介紹了潤乾報表可以基於一句 SQL 來做資料庫資料分析,今天我們來繼續說道說道,看看下面這個例子: 這個分析資料集來自回款單,由回款單 ID,回款日期,金額,銷售 ID 四個欄位組成。 對應的 sql 為:select 回款單 I
如何在WEB端進行Excel 透視表式的多維分析
提起 Excel 一定都不陌生,尤其是裡面的資料透視表,對於需要進行聚合分析的情況,根據原始資料勾勾選選就能完成,用起來是倍兒爽吧。 那麼,操作起來這麼省心的功能要是能移到 WEB 上,嵌入俺的應用程式裡,是不是就完美了?so easy! 雷鋒同志馬上來教你做這事兒。
潤乾報表多維分析功能
可直接閱讀原文:http://c.raqsoft.com.cn/article/1535678317741?r=alice 分析控制元件功能 拖拽欄位 首先從分析控制元件本身的功能入手——開啟分析頁面第一件事是做什麼呢?對啦,當然是要展示報表了~脫離敲打複雜的查詢語句,
Quick BI 支援多種資料來源進行多維分析
一、摘要 隨著網際網路的高速發展,資料量爆發式增長的同時,資料的儲存形式也開始呈現出多樣性,有結構化儲存,如 Mysql, Oracle, SQLServer 等,半結構化甚至非結構化儲存,如HBase,OSS 等。那麼從事資料分析的人員就面臨著從多種多樣的資料儲存形式中提取資
Quick BI 支持多種數據源進行多維分析
規則 不同 最終 包含 外部 標識 阿裏雲數據庫 大型 p s Quick BI 支持多種數據源進行多維分析 一、摘要 隨著互聯網的高速發展,數據量爆發式增長的同時,數據的存儲形式也開始呈現出多樣性,有結構化存儲,如 Mysql, Oracle, SQLServer 等,半
深度乾貨 | 多維分析中的 UV 與 PV
1. 概念1.1 UV 與 PV對於網際網路產品來說,UV 與 PV 是兩個非常常見的指標,並且通常都是分析的最基礎指標。UV 一般來講,是指使用產品(或產品某個功能)的獨立使用者數。PV 則來源於網站時代,一般指網站(或網站某個頁面)的頁面瀏覽量,在移動網際網路時代,則一般
鏈家大資料多維分析引擎實踐
前言大資料背景下,傳統關係型多維分析 ROLAP 引擎遇到極大挑戰,因而鏈家轉向基於 Hadoo
這樣的多維分析功能才完整
潤乾報表多維分析功能漫遊 是不是還在為成千上萬的資料處理不完而苦惱? 是不是一想到要處理這些資料就頭大? 今天又要為整理這些枯燥的資料加班怎麼辦? ——不要擔心!不要擔心!潤乾來拯救你!DQL分組分析的神祕力量會協助你順利完成資料的操作與分析,加班?不存在的!隔壁組的
開源BI報表及OLAP多維分析平臺OPENI(二)—搭建Eclipse下的Openi開發環境
接著上節的demo來看如何在Eclipse下搭建Openi的開發及除錯環境. 一.下載openi-1.3.0-RELEASE-src 二.新建web project 在MyEclipse下新建web project:openi 1.openi-1.3.0-RELE
Saiku + Kylin 多維分析平臺探索
背景 為了應對各種資料需求,通常,我們的做法是這樣的: 對於臨時性的資料需求:寫HQL到Hive裡去查一遍,然後將結果轉為excel傳送給需求人員。對於週期性的、長期性的資料需求:編寫指令碼,結合Hive跑出結果,將結果寫入對應DB庫,然後開發前端頁面對結果進行展現。這樣做簡潔明瞭,但是,有很明顯的問題
OLAP多維分析之Mondrian Schema詳解
該文章看後感覺對與如何使用PSW工具定義Schema模型更為清楚,很受用是好東西。 Schema Schema 定義了一個多維資料庫。包含了一個邏輯模型,而這個邏輯模型的目的是為了書寫 MDX 語言的查詢語句。 這個邏輯模型實際上提供了這幾個概念: Cubes (立方體)
使用Saiku+Kylin構建多維分析OLAP平臺
http://lxw1234.com/archives/2016/05/647.htm 關於Kylin的介紹和使用請參考之前的文章 《分散式大資料多維分析(OLAP)引擎Apache Kylin安裝配置及使用示例》 Kylin對外提供的是SQL查詢介面,基於Kylin構