【阿里巴巴大資料實踐筆記】第13章：計算管理
計算平臺追求目標：目前內部 MaxCompute 叢集上有 200 多萬個任務，每天儲存資源、計算資源消耗都很大。 如何降低計算資源的消耗，提高任務執行的效能，提升任務產出的時間。
1.系統優化
（1）HBO (History-Based Optimiz町， 基於歷史的優化器）
（2）CBO (Cost-Based Optimizer ， 基於代價的優化器）
收集到的表、分割槽、索引等統計資訊來計算每種執行方式的代價（ Cost ），進而選擇其中代價最少的執行方式。
但對錶和列上統計資訊的收集也是有代價的，收集統計資訊會消耗大量資源。MaxCompute 採用各種抽樣統計演算法，通過較少的資源獲得大量的統計資訊，最大化提高統計資訊利用率。
2.任務優化
相關推薦
【阿里巴巴大資料實踐筆記】第13章：計算管理
計算平臺追求目標：目前內部 MaxCompute 叢集上有 200 多萬個任務，每天儲存資源、計算資源消耗都很大。 如何降低計算資源的消耗，提高任務執行的效能，提升任務產出的時間。 1.系統優化 （1）HBO (History-Based Optimiz町， 基於歷史的優化器
【吳恩達機器學習筆記】第三章：線性迴歸回顧
本章是對線性代數的一些簡單回顧，由於之前學過，所以這裡只是簡單的將課程中的一些例子粘過來 矩陣表示 矩陣加法和標量乘法 矩陣向量乘法 用矩陣向量乘法來同時計算多個預測值 矩陣乘法 用矩陣乘法同時計算多個迴歸
【吳恩達機器學習筆記】第五章：多變數線性迴歸
目錄 多特徵下的目標函式 多元梯度下降法 多元梯度下降法中的方法 特徵縮放 選擇學習率 特徵和多項式迴歸 正規方程（區別於迭代法的直接解法） 正規方程在矩陣不可逆的情況下的解決方法
【演算法筆記】第六章：C++標準模板庫（STL）介紹
【演算法筆記】第六章：C++標準模板庫（STL）介紹 標籤（空格分隔）：【演算法筆記】 第六章：C++標準模板庫（STL）介紹 第六章：C++標準模板庫（STL）介紹 6.1 vector的常見用法詳解
【西瓜書學習筆記】第3章：線性模型
課程前言： arg max的引數是函式最大化的某個函式的域的點，與全域性最大值相比引數函式的最大輸出，arg max指的是函式輸出儘可能大的輸入或引數 閉式解： 給出任意自變數，就可以求出因變數 最小二乘法： 通過最小化誤差的平方和尋找資料的最佳函式匹配
【計算機網路·第7版-學習筆記】第02章：物理層
本文下載連結： [學習筆記]第02章_物理層-列印版.pdf 本章最重要的內容是： （1）物理層的任務。 （2）幾種常用的通道複用技術。 （3）幾種常用的寬頻接入技術，主要是ADSL和FTTx。 一、物理層的基本概念 1、物理層簡介 （1）物理層在連線各種計算機的傳輸媒體上傳輸資料位元流，而不是指具體的傳輸媒
資料結構筆記整理第5章：樹和二叉樹
第5章 樹和二叉樹 本章內容 本章主要介紹樹、二叉樹的概念，遍歷方法以及應用等，本章在考研中是重點內容。 5.1 樹相關的基本概念 樹是一種非線性的資料結構，是若干結點的集合，有唯一的根結點和若干棵互不相交的子樹構成。其中每一棵子樹又是一棵樹，
首次公開！單日600PB的計算力 — 阿里巴巴大資料計算平臺雙11專題之EB級資料平臺的進擊
作者：阿里巴巴計算平臺 高階技術專家 迎輝 MaxCompute作為阿里巴巴的主力計算平臺，在2018年的雙11中，再次不負眾望，經受住了雙11期間海量資料和高併發量的考驗。為集團的各條業務線提供了強勁的計算力，不愧是為阿里巴巴歷年雙11輸送超級計算力的核武器。 本文為大家介紹，MaxCompute基於多
【若澤大資料早課】day4--20180913
1、如何判斷一個Linux上的xxx服務是否存活 # ps -ef | grep xxx 檢視程序 2、埠號哪個命令去看看通不通 # telnet 3、檢視Linux的ip哪些途徑 # ifconfig # hostname -i 4、對
【若澤大資料早課】day5--20180914
1、pwd表示什麼 # 當前目錄 2、隱藏目錄什麼標識開始，怎麼看 # 隱藏檔案或者資料夾以.開頭 # ll -a 3、檢視檔案的大小哪兩組命令 # ll -h # du -sh xx 4、怎樣測試埠通不通 # telnet 5、檢視程序和埠號命令分別是
【若澤大資料早課】day7--20181009
1、級聯建立資料夾的命令引數 # mkdir -p xxx xxx 2、建立檔案有哪幾種方法 # touch vi echo mv cp 3、重新命名一般用哪個命令 # mv 4、說說大R引數的命令有哪些 # chown chmod 5、說說小r引數的
【2019年大資料福利推薦】MaxCompute教程、案例視訊合集彙總（持續更新20190111）
大資料計算服務(MaxCompute，原名ODPS，產品地址：https://www.aliyun.com/product/odps)是一種快速、完全託管的TB/PB級資料倉庫解決方案。MaxCompute向用戶提供了完善的資料匯入方案以及多種經典的分散式計算模型，能夠更快速的解決使用者海量資料計算問題，有
【若澤大資料MySQL實戰】MySQL知識點
1、MySQL預設配置檔案是在哪裡？/etc/my.cnf 2、賦予許可權的最後一個命令flush privileges 3、允許所有IP可以訪問，用什麼表示% 4、插入一條語句的語法insert i
【若澤大資料MySQL實戰】MySQL基礎語法
MySQL的基本概念database db ：資料庫 table ： 表 db1：t1, t2, t3 db2：t2, t3, t4 欄位型別整數型：int 小數型：float/double 字元：ch
【阿里巴巴-高德-汽車事業部】【內推】Java技術專家、前端技術專家、C++技術專家（長期招聘）
簡歷接收郵箱：[email protected] 郵件請備註來自CSDN 一、Java技術專家 職位描述 研究汽車智慧化和線上服務前沿技術，從事線上資料服務和車聯網服務的設計和研發 負責汽車資料服務和智慧硬體後臺服務的分散式架構設計和迭代，解決海量資料的儲存管理、安全分發等技術和業務挑戰
【Linux學習筆記】第4章 Linux磁盤管理
linux centos 磁盤 格式化 LVM 4.1df命令df 查看文件系統磁盤空間使用情況。文件系統 磁盤總大小（kB） 已使用 可用 已用% 掛載點（目錄）Linux磁盤不能直接訪問，必須要有一個掛載點。參數：-h 可根據磁盤大小顯示適當的單位。帶有tmpfs代表臨時的
【Linux學習筆記】第5章 VIM工具
linux centos vim 5.1vim介紹vim是vi的升級版，帶有顏色顯示，先安裝包yum install -y vim-enhancedvim分為三種模式：一般模式、編輯模式、命令模式。 5.2vim顏色顯示和移動光標相同的文件信息在不同目錄下顯示顏色會有差異。相同內容，不同文件名，
【Linux學習筆記】第6章 Linux文件壓縮和打包
linux centos 打包 壓縮 tar 6.1壓縮打包介紹Windows壓縮：.rar，.zip，.7zLinux壓縮：.zip，.gz，.bz2，.xz，.tar.gz，.tar.bz2，.tar.xz 6.2gzip壓縮工具gzip FILENAME 壓縮文件，格式gz，壓縮後
【Linux學習筆記】第8章 Linux shell基礎知識
linux centos shell 通配 8.1shell介紹shell是一個命令解釋器，提供人機交互。支持特定語法。每個用戶都可以有自己特定的shell（bash）。CentOS7默認bash（Bourne Agin Shell）。其他還有zsh、ksh等。 8.2命令歷史命令歷史存放於
【藝術探索筆記】第 15 章 Android 效能優化
第 15 章 Android 效能優化 Android 裝置作為一種移動裝置，不管是記憶體還是 CPU 的效能都受到了一定的限制，無法像 PC 那樣具有超大的記憶體和高效能的 CPU。所以 Android 程式不可能無限制的使用記憶體和 CPU 資源，過多的使