廣義上講 大資料是時代發展和技術進步的產物。Hadoop只是一種處理大資料的技術手段。 “大資料”概念在1980年由維克托·邁爾-舍恩伯格及肯尼斯·庫克耶 在《第三次浪潮》首次提出，由麥肯錫公司(McKin

原文地址：https://itweknow.cn/detail?id=54 ,歡迎大家訪問。 練習本文中提到的命令列介面的前提條件是至少在一臺linux機器或者虛擬機器上安裝

中心思想，設定kerberos環境變數時，發現JDK原始碼當中的一個問題，故描述如下。 在平時的使用中，如果hadoop叢集配置kerberos認證的話，使用java訪問hdfs或者hive時，需要先進行認

最近在學習Hadoop，原本是在win10系統下裝個虛擬機器，在虛擬機器上裝的是CentOS作業系統，在該虛擬機器上搭建好Hadoop環境之後，在學習WordCount的案例時，發現系統太慢了，還老是卡機，最後

Hadoop是一個開源框架，允許使用簡單的程式設計模型在跨計算機叢集的分散式環境中儲存和處理大資料。它的設計是從單個伺服器擴充套件到數千個機器，每個都提供本地計算和儲存。今天整理了一些關於hadoop相關概念的知識點

一. 部署讀寫分離的契機 目前公司整體專案穩定執行在CDH5.6版本上，與其搭配的Hbase1.0.0無法正確執行Kylin，原因是Kylin只滿足Hbase1.1.x+版本。解決方案如下 1. 升級整

1.排序概述 2.排序分类 3.WritableComparable案例 这个文件,是 大数据-Hadoop生态(12)-Hadoop序列化和源码追踪 的输出文件,可

一、Hadoop入門，瞭解什麼是Hadoop 1、Hadoop產生背景 2、Hadoop在大資料、雲端計算中的位置和關係 3、國內外Hadoop應用案例介紹 4、國內Hadoop的就業情況分析及

MapReduce工作流程 1.準備待處理檔案 2.job提交前生成一個處理規劃 3.將切片資訊job.split,配置資訊job.xml和我們自己寫的jar包交給yarn

本文主要介紹如何通過Federation使用多個獨立的Namenodes Namespaces水平擴充套件名稱空間。Namenodes彼此獨立，互不通訊，可以共享相同的Datanode儲存。 在Hadoo

說起hadoop這個單詞，在大資料領域可謂是十分知名。由於工作的需求，最近對hadoop整體架構和安全進行了一些瞭解，一些淺薄的理解分享給大家。(全文均以hadoop 2.0版本框架進行介紹) 一、hado

1.解決Unable to load native-hadoop library for your platform告警 安裝Hadoop啟動之後總有警告：Unable to load nat

2018年是開源軟體歷史上最精彩的一年，2個IPO加上5個併購，開源技術到達新的高度。回溯過去大資料時代的15年，開源技術的創新潮流，包括叢集技術，流計算，資料庫，容器技術和機器學習，可謂一波接著一波。 2003-

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地

hadoop在windows本機執行 (1)在 windows環境下編譯好的hadoop放到沒有中文和空格的路徑下 (2)編譯好的hadoop內的hadoop.all檔案要放到windows機器的win