1.大資料元件之ELK過程之安裝logstash-jdbc-input外掛

1.安裝logstash-jdbc-input外掛 安裝logstash的'jdbc連線檔案，首先需要安裝ruby，也是為了更好的使用ruby中的gem安裝外掛，下載地址如下： https://rubyinstaller.org/downloads/ （1）下面先寫一下ruby的安裝教程

1.使用spoon進行資料轉換，抽取過程如下，，，，大資料元件之ETL

轉換過程如下： 2018/11/19 17:03:43 - Spoon - Using legacy execution engine 2018/11/19 17:03:43 - areacheckdaily - 轉換已經從資源庫預先載入. 2018/11/19 17:03:43 - Sp

大資料元件之----HIVE，win10下安裝以及配置hadoop詳細步驟

HIVE其本質是以Hadoop作為基礎的資料倉庫基礎設施。其中hadoop為資料的儲存和執行在商業機器上提供了可擴充套件以及容錯性的可能，其中容錯性可通過副本來進行理解。 目標： HIVE是讓資料彙總更加簡單和針對大容量資料的查詢和分析，提供了SWL來使得使用者可以更簡單查詢，彙總和資料分析

大資料元件之zookeeper核心處理 ----paxos演算法

1.如果理解不了paxos演算法，那麼也就理解不了zookeeper的核心處理了。 理論部分（問題產生的背景）： 常見的分散式系統中，總會發生例如：機器宕機，以及網路異常（ 網路異常包括訊息的延遲，丟失，重複，亂序，以及網路分割槽問題）等情況 paxos目的就是解決如何在發生上述問題

1.大資料學習之旅——NIO

Concurrent包 jdk1.5所提供的一個針對高併發進行程式設計的包。 阻塞式佇列 - BlockingQueue 遵循先進先出(FIFO)的原則。阻塞式佇列本身使用的時候是需要指定界限。 ArrayBlockingQueue - 阻塞式順序佇列 - 底層是基於陣列來進

電商大資料專案-推薦系統實戰之推薦演算法

(1)電商大資料專案-推薦系統實戰http://blog.51cto.com/6989066/2325073 （七）推薦系統常用演算法協同過濾演算法協同過濾演算法（Collaborative Filtering：CF）是很常用的一種演算法，在很多電商網站上都有用到。CF演算法包括基於使用者的CF（User-

大資料分析技術與實戰之 Spark Streaming

Spark是基於記憶體的大資料綜合處理引擎，具有優秀的作業排程機制和快速的分散式計算能力，使其能夠更加高效地進行迭代計算，因此Spark能夠在一定程度上實現大資料的流式處理。 隨著資訊科技的迅猛發展，資料量呈現出爆炸式增長趨勢，資料的種類與變化速度也遠遠超出人們的想象，因此人們對大資料處理提出了

大資料預測CSDN2018部落格之星評選結果

大資料預測CSDN2018部落格之星評選結果 閒話不多說，我們直接用資料說話。（因為絕大多數同學都只是關心一下結果，後面再給大家演示資料是怎麼得到的） 按照CSDN的要求： 自薦方式如下：在評論中放上您的CSDN部落格地址、並進行簡要說明。 候選人自薦截止時間為2018

大資料基礎hdfs啟動過程和相關元件解釋

問題導讀： 1.job的本質是什麼？ 2.任務的本質是什麼？ 3.檔案系統的Namespace由誰來管理，Namespace的作用是什麼？ 4.Namespace 映象檔案(Namespace image)和操作日誌檔案(edit log)檔案的作用是什麼？ 5

(一)大資料生態圈叢集搭建之 --Linux環境準備

搭建準備工作 本地機環境 準備安裝包 虛擬機器工具 連線工具 上傳工具 CentOS虛擬機器環境搭建 通用配置 靜態IP配置 時間同步配置 JDK環境配置

大資料與算法系列之數值查詢演算法

查詢是指在大量的資料中尋找特定的元素，它是數值計算中常用的運算邏輯，一般情況下，可以按照順序依次查詢，但是在資料量較大的情況下，順序查詢的效能往往會讓人望而卻步，折半查詢和二叉樹查詢可以針對的數值序列做到快速查詢，雜湊查詢則是針對無序的數值序列查詢，它們都具有較好的效能。二分

大資料入門必學技術之Hadoop

Hadoop是一個能夠對大量資料進行分散式處理的軟體框架。使用者可以輕鬆地在Hadoop上開發和執行處理海量資料的應用程式，在大資料領域應用比較多。本文就和大家一起認識一下Hadoop技術：   1 Hadoop歷史   雛形開始於2002年的Apache的N

大資料平臺的技術演化之路 諸葛io平臺設計例項

如今，資料分析能力正逐漸成為企業發展的標配，企業通過資料分析的過程將資料中的資訊提取出來，進行處理、識別、加工、呈現，最後成為指導企業業務發展的知識和智慧。而處理、識別、加工、呈現的過程從本質上來講，就是實現對資料的採集、清洗、加工、載入、建模分析，再到視覺化的過程。 

大資料分析技術與實戰之Spark Streaming（內含福利）

↑ 點選上方藍字關注我們，和小夥伴一起聊技術！ 隨著資訊科技的迅猛發展，資料量呈現出爆炸式增長趨勢，資料的種類與變化速度也遠遠超出人們的想象，因此人們對大資料處理提出了更高的要求，越來越多的領域迫切需要大資料技術來解決領域內的關鍵問題。在一些特定的領域中（例如金融、災害預警等），時間就是金錢、時間可能就

Ambari——大資料平臺的搭建利器之進階篇[配置spark]

Ambari 的現狀 目前 Apache Ambari 的最高版本是 2.0.1，最高的 Stack 版本是 HDP 2.2。未來不久將會發布 Ambari 2.1 以及 HDP 2.3（本文也將以 Ambari 2.0.1 和 HDP 2.2 為例進行講解）。其實在 Ambari trunk 的 co

大資料最火爆技術spark之王家林2016最新高清視訊教程

視訊講師：王家林 中國Spark第一人 DT大資料夢工廠    00.蘑菇雲前傳Scala    01.從0基礎到調通第一個wordcount程式 (課程1-10講)    02.Spark核心解密(11-43講全)    03.Spark效能優化(44-54講全)   

大資料點點滴滴積少成多---進階之路

大資料叢集搭建和使用之八——kafka配置和使用

這個系列指南使用真實叢集搭建環境，不是偽叢集，用了三臺騰訊雲伺服器 或者訪問我的個人部落格站點，連結 Kafka 配置 kafka依賴zookeeper，所以先確保叢集已經安裝zookeeper並且能夠正常啟動。 浪費了一整天的時間deb

Ambari——大資料平臺的搭建利器之進階篇

　　Ambari 的現狀 　　目前 Apache Ambari 的最高版本是 2.0.1，最高的 Stack 版本是 HDP 2.2。未來不久將會發布 Ambari 2.1 以及 HDP 2.3(本文也將以 Ambari 2.0.1 和 HDP 2.2 為例進行講解)。其實在 Ambari trunk 的

關係型資料庫大資料效能優化解決方案之：分表(當前表歷史表)、表分割槽、資料清理原則

原因和目的由於交易量大或者日積月累造成資料庫的資料量越來越大。會導致系統性能大幅下降，所以要對部分業務的表資料作備份和清理減少資料量，來提升請求響應的速度，提升使用者體驗資料是否需要清理的閥值判斷通常當表的磁碟大小超過 5GB，或對於 OLTP 系統(聯機事務處理)，表的記錄