【原創】經驗分享（22）檢視linux發行版以及核心版本
redhat檢視發行版
# cat /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)
檢視核心版本
# uname -a
Linux $host 3.10.0-327.28.3.el7.x86_64 #1 SMP Thu Aug 18 19:05:49 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
or
# cat /proc/version
Linux version 3.10.0-327.28.3.el7.x86_64 ([email protected]) (gcc version 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) ) #1 SMP Thu Aug 18 19:05:49 UTC 2016
相關推薦
【原創】經驗分享（22）檢視linux發行版以及核心版本
redhat檢視發行版 # cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) 檢視核心版本 # uname -aLinux $host 3.10.0-327.28.3.el7.x86_64 #1 SMP Thu A
【原創】經驗分享（10）Could not transfer artifact org.apache.maven:maven. from/to central. Received fatal alert: protocol_version
maven編譯工程報錯 [ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:add-source (scala-compile-first) on project trade: Execution sca
【原創】經驗分享（12）如何程式化kill提交到spark thrift上的sql
spark 2.1.1 hive正在執行中的sql可以很容易的中止，因為可以從console輸出中拿到當前在yarn上的application id，然後就可以kill任務， WARNING: Hive-on-MR is deprecated in Hive 2 and may no
【原創】經驗分享（15）spark sql limit實現原理
之前討論過hive中limit的實現，詳見 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的實現，首先看執行計劃： spark-sql> explain select * from test1 limit
【原創】經驗分享（20）spark job之間會停頓幾分鐘
今天遇到一個問題，spark應用中在一個迴圈裡執行sql，每個sql都會向一張表寫入資料，比如 insert overwrite table test_table partition(dt) select * from test_table_another; 除了執行sql沒有其他邏輯，每個sq
【原創】演算法分享（4）Cardinality Estimate 基數計數概率演算法
讀過《程式設計珠璣》（<Programming Pearls>）的人應該還對開篇的Case記憶猶新，大概的場景是： 作者的一位在電話公司工作的朋友想要統計一段時間內不同的電話號碼的個數，電話號碼的數量很大，當時的記憶體很小，所以不能把所有的電話號碼全部放到記憶體來去重統計，他的朋友很苦惱。 作
【原創】演算法分享（5）聚類演算法DBSCAN
簡介 DBSCAN：Density-based spatial clustering of applications with noise is a data clustering algorithm proposed by Martin Ester, Hans-Peter
【原創】案例分享（3）使用者行為分析--見證scala的強大
場景分析 使用者行為分析應用的場景很多，像線上網站訪問統計，線下客流分析（比如影象人臉識別、wifi探針等），比較核心的指標有幾個： PV | UV | SD | SC 指標說明： PV（Page View）：網站瀏覽量或者商場門店的訪問量UV（Unique Visitor）：獨立訪客數，即
【原創】案例分享（4）定位分析--見證scala的強大
一 場景分析 定位分析廣泛應用，比如室外基站定位，室內藍芽beacon定位，室內wifi探針定位等，實現方式是三點定位 Trilateration 理想情況 這種理想情況要求3個基站‘同時’採集‘準確’的距離資訊， 實際情況 3個基站採集資料的時間是分開的； 採集資料的距離
【原創】演算法分享（7）最小二乘法
Ordinary Least Square 最小二乘法 提到最小二乘法要先提到擬合，擬合Fitting是數值分析的基礎工具之一，在二維平面上分為直線擬合和曲線擬合，直線擬合找到一條直線儘可能穿過所有的點，注意這裡是儘可能，因為只要超過2個點，就有可能發生直線不能精確穿過所有點的情況，這時確定直線的原則有很多
【原創】MapReduce實戰（一）
tid refs 讀取 sel instance 網站 let 創建 -c 應用場景： 用戶每天會在網站上產生各種各樣的行為，比如瀏覽網頁，下單等，這種行為會被網站記錄下來，形成用戶行為日誌，並存儲在hdfs上。格式如下： 17:03:35.012?pageview?{"d
【原創】命令列（2）----一些伺服器命令列
Ls Ps –x Cd server/ Sh stopall.sh Sh fresh.sh Sh runall.sh 命令全部小寫即可 Ls
【原創】java-NIO（一）阻塞IO與非阻塞IO--轉載請註明出處
零、一個小故事 在講解阻塞IO與非阻塞IO之前，先舉出一個小小的例子： 一個老闆經營一個飯店，最初的時候，每來一個客人安排一個服務員招呼，客人很滿意。 後來客人越來越多，需要的服務員越來越多，但是餐廳的後廚已經擠滿了服務員，不
【原創】java-NIO（一）阻塞IO與非阻塞IO
零、一個小故事 在講解阻塞IO與非阻塞IO之前，先舉出一個小小的例子： 一個老闆經營一個飯店，最初的時候，每來一個客人安排一個服務員招呼，客人很滿意。 後來客人越來越多，需要的服務員越來越多，但是餐廳的後廚已經擠滿了服務員，不能請更多的服務員了，之前的
【原創】經驗分享：一個Content-Length引發的血案(almost....)
## 前言 上週在工作中遇到一個問題，挺有意思，這裡記錄一下。上週在工作中遇到一個問題，挺有意思，這裡記錄一下。標題起的很唬人，這個問題差點引發血案，**花哥**還是很嚴謹的一個人，後面備註了`almost....` 在測試環境中，前端呼叫我們服務一個介面時發現巨慢無比，響應時間超過了**30s**，簡直
【原創】經驗分享：一個小小emoji盡然牽扯出來這麼多東西？
## 前言 之前也分享過很多工作中踩坑的經驗： 1. [一個線上問題的思考：Eureka註冊中心叢集如何實現客戶端請求負載及故障轉移？](https://www.cnblogs.com/wang-meng/p/13176345.html) 2. [【原創】經驗分享：一個Content-Length引發的血
【原創】大叔經驗分享（23）hive metastore的幾種部署方式
tps rac driver 所有 ava onf script 1.2 uri hive及其他組件（比如spark、impala等）都會依賴hive metastore，依賴的配置文件位於hive-site.xml hive metastore重要配置 hive.met
【原創】大叔經驗分享（30）CM開啟kerberos
conf ref 密碼 bsp 配置過程 local mage https 原創 kerberos安裝詳見：https://www.cnblogs.com/barneywill/p/10394164.html 一 為CM創建用戶 # kadmin.local -q
【原創】大叔經驗分享（38）beeline連接hiveserver2報錯impersonate
anon hdfs sts 經驗分享 property could could not val sta beeline連接hiveserver2報錯 Error: Could not open client transport with JDBC Uri: jdbc:hi
【原創】大叔經驗分享（39）spark cache unpersist級聯操作
mode this 兩個 間接 ant 引入 data sel validate 問題：spark中如果有兩個DataFrame（或者DataSet），DataFrameA依賴DataFrameB，並且兩個DataFrame都進行了cache，將DataFrameB unp