小米大資料 OLAP 實踐之 Lambda Architecture

阿新 • • 發佈：2018-11-12

在2018年8月Apache Kylin [email protected]北京活動上，小米大資料架構師分享了小米 OLAP 平臺，基於 Apache Kylin 和其它實時引擎組成的 Lambda 架構，以滿足業務對資料查詢效能以及及時性的多重要求。
小米大資料 OLAP 實踐之 Lambda Architecture

篇幅過長，原文瀏覽地址 https://www.slidestalk.com/s/Lambda_Architecture_Kylin69481

小米大資料 OLAP 實踐之 Lambda Architecture

在2018年8月Apache Kylin [email protected]北京活動上，小米大資料架構師分享了小米 OLAP 平臺，基於 Apache Kylin 和其它實時引擎組成的 Lambda 架構，以滿足業務對資料查詢效能以及及時性的多重要求。篇幅過長，原文瀏覽地址https://www

小米大資料：藉助Apache Kylin打造高效、易用的一站式OLAP解決方案

作者 | 小米大資料如今的小米不僅是一家手機公司，更是一家大資料與人工智慧公司。隨著小米公司各項業務的快速發展，資料中的商業價值也愈發突顯。而與此同時，各業務團隊在資料查詢、分析等方面的壓力同樣正在劇增。因此，為幫助公司各業務線解決這些資料方面的挑戰，小米大資料團隊不斷地嘗試通過不同的技術手段打造新的解決方

大資料ETL實踐探索（4）---- 之搜尋神器elastic search

3.本地檔案匯入aws elastic search 修改訪問策略，設定本地電腦的公網ip，這個經常會變化，每次使用時候需要設定一下安裝anancota https://www.anaconda.com/download/ 初始化環境，win10下開啟Anaco

大資料ETL實踐探索（3）---- pyspark 之大資料ETL利器

5.spark dataframe 資料匯入Elasticsearch 5.1 dataframe 及環境初始化初始化， spark 第三方網站下載包：elasticsearch-spark-20_2.11-6.1.1.jar http://spark.apache.org/t

你愛的小米是怎樣玩轉大資料的？大咖揭祕小米大資料整合架構演化之路

小米有眾多的智慧終端和裝置，資料規模非常大，對於資料採集和大資料整合提出了非常高的要求。此次演講主要介紹小米大資料整合解決方案，主要包括小米資料流平臺的架構演化，整個鏈路的資料質量監控，資料流生態的構建思路，最後會介紹典型的應用場景、未來的規劃和思考。分享大綱： 1、問題與挑戰 2、資

大資料Zookeeper系列之Zookeeper服務開機自啟動配置

1. 編寫執行指令碼 $ sudo cd /etc/init.d $ sudo vi zookeeper #!/bin/bash #chkconfig:2345 20 90 #description:zookeeper #processname:zookeeper

大資料Hadoop系列之Hadoop服務開機自啟動配置

1. 編寫執行指令碼 $ sudo cd /etc/init.d $ sudo vi hadoop #!/bin/bash #chkconfig:35 95 1 #description:script to start/stop hadoop su - hadoop

大資料HBase系列之HBase分散式資料庫部署

一、部署準備 1. 依賴框架大資料Hadoop系列之Hadoop分散式叢集部署：https://blog.csdn.net/volitationLong/article/details/80285123 大資料Zookeeper系列之Zookeeper叢集部署：https://

大資料Zookeeper系列之Zookeeper分散式協調服務部署

一、部署準備 1. 安裝介質 zookeeper-3.4.13：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz 2. 主機規劃 192.168.233.13

大資料Hive系列之Hive MapReduce

1. JOIN 1.1 join操作 INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

大資料HBase系列之初識HBase

1. HBase簡介 1.1 為什麼使用HBase 傳統的RDBMS關係型資料庫（MySQL/Oracle）儲存一定量資料時進行資料檢索沒有問題，可當資料量上升到非常巨大規模的資料（TB/PB）級別時，傳統的RDBMS已無法支撐，這時候就需要一種新型的資料庫系統更好更

大資料Hive系列之Hive常用SQL

1. hive匯出資料到hdfs 語法：export table 表名 to '輸出路徑'; 例子：export table cloud.customer to '/tmp/hive/customer'; 2. beeline連線 $ beeline 語法：beeline> !

大資料Hive系列之Hive使用者許可權管理

1. 角色 * 建立角色 create role role_name; * 顯示角色 show roles; * 刪除角色 drop role role_name; 2. 使用者 * 使用者進入admin角色許可權 set hive.users.in.admin.role;

大資料Flume系列之Flume叢集搭建

1. 概念叢集的意思是多臺機器，最少有2臺機器，一臺機器從資料來源中獲取資料，將資料傳送到另一臺機器上，然後輸出。接下來就要實現Flume叢集搭建。叢集如下圖所示。 2. Flume搭建 2.1 部署準備部署主機 192.168.9.139 host14

大資料Hive系列之Hive API

Maven依賴配置 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma

大資料分析學習之路

一、大資料分析的五個基本方面二、如何選擇適合的資料分析工具三、如何區分三個大資料熱門職業四、從菜鳥成為資料科學家的 9步養成方案五、從入門到精通——快速學會大資料分析推薦下小編的大資料學習群；

餓了麼元資料管理實踐之路

一、背景大資料挑戰大資料時代，餓了麼面臨資料管理、資料使用、資料問題等多重挑戰。具體可以參考下圖：資料問題：多種執行、儲存引擎，分鐘、小時、天級的任務排程，怎樣梳理資料的時間線變化？資料使用：任務、表、列、指標等資料，如何進行檢索、複用、清理、熱度Top計算？資料管理：怎樣對錶、列、指

大資料專案實戰之 --- 使用者畫像專案分析

一、使用者畫像專案分析 ------------------------------------------------------- 1.概念使用者畫像也叫使用者資訊標籤化、客戶資訊。根據使用者的資訊和行為動作，用一些標籤把使用者描繪出來，描繪的標籤就是使用者畫像。

大資料OLAP引擎對比

Presto：記憶體計算，mpp架構 PB級別資料 presto適合pb級的海量資料查詢分析，不是說把pb的資料放進記憶體，比如一張pb表，查詢count，vag這種有個特點，雖然資料很多，但是最終的查詢結果很小，這種就不會把資料都放到記憶體裡面，只是在運算的過程中，拿出一些資料放記

大資料OLAP Kylin

在傳統的關係型資料庫中通過預計算預快取來實現OLAP分析查詢並不新鮮, 微軟的SSAS就是典型的代表. 不過由於SSAS在國外興起的時候, 國內的大公司還沒有意識到SSAS對於企業管理和業務支援的作用, 加上SSAS的正版售價問題. 這項技術在中國國內並不是很流

小米大資料 OLAP 實踐之 Lambda Architecture

相關推薦