Hadoop的學習筆記（Hive|pig|zookeeper|hbase）

阿新 • • 發佈：2018-12-08

hadoop筆記本

<div class="postText">
	<div id="cnblogs_post_body" class="blogpost-body"><table border="0" align="left">

海量資料

　　　　那些年Google公開的大資料領域論文

　　　　大資料量，海量資料處理方法總結

　　　　布隆過濾器應用

　　　　Google Dremel 原理 – 如何能3秒分析1PB

　　　 Google Spanner原理- 全球級的分散式資料庫

　　　　悉數那些“巨型”資料倉庫

　　　　Hadoop在業界的使用情況

　　　　淘寶Hadoop叢集的概況

　　　　淘寶資料魔方技術架構解析

　　　　Facebook的實時Hadoop系統

　　　　Apache Hadoop Goes Realtime at Facebook(譯)

資料統計

　　網站統計中的資料收集原理及實現

資料探勘

　　一個電商資料分析師的經驗總結

五個免費開源的資料探勘軟體

　　Google推出Prediction API

　　K Nearest Neighbor 演算法(歸類)

　　K-Means 演算法(聚類)

　　kmeans演算法java版本

hadoop2

　　hadoop2升級的那點事情(詳解)

hadoop

　　介紹

　　　　Hadoop分散式檔案系統：架構和設計要點

　　　　mapreduce作業流程概論

　　　　Hadoop使用場景

　　管理

　　　　hadoop叢集部署

　　　　hadoop部署注意項

　　　　hadoop配置檔案說明

　　　　hadoop叢集預設配置和常用配置

　　　 hadoop叢集測量

　　　　Hadoop管理員的十個最佳實踐

　　　　Hadoop 許可權管理

　　　　Hadoop FS Shell

　　　　Hadoop Shell 講解

　　　　hadoop fs -count的結果含義

　　　　Hadoop新增節點datanode

　　　　Hadoop刪除節點

　　　　hadoop SecondaryNameNode和NameNode

　　　　hadoop 根據SecondaryNameNode恢復Namenode

　　　　hadoop機架感知

　　　　HDFS 安全模式

　　　　hadoop的dfs.replication

　　　　Hadoop回收站trash

　　　　hadoop升級

　　　　Hadoop計算能力排程器演算法解析

　　　　Hadoop計算能力排程器應用和配置

　　　　hadoop mapred-queue-acls 配置

　　　　hadoop和kerberos的整合總結

　　　　hadoop的dfs.umask

　　　　NFS服務對Hadoop（hdfs）叢集影響測試

　　　　Facebook團隊關於Hadoop/HBase在SSD上的實驗和討論

　　　　HADOOP動態載入配置

　　　　基於計算機資源分析hadoop的預設counter

　　調優

　　　　hadoop作業調優引數整理及原理

　　原理實現

　　　　序

　　　　HDFS的基本概念

　　　　HDFS 讀寫流程

　　　　HDFS namenode原始碼分析

　　　　HDFS datanode原始碼分析

　　　 HDFS dfsclient讀檔案過程原始碼分析

　　　 HDFS dfsclient寫檔案過程原始碼分析

　　　　How MapReduce Works

　　　　MapReduce原始碼分析總結

　　　 eclipse下編譯hadoop原始碼

　　　　基於hadoop的crc校驗談hadoop的離線設計思想

　　　　Hadoop在MapReduce中使用壓縮詳解

　　　　HDFS資料的Checksum

　　　　Hadoop開發常用的InputFormat和OutputFormat

　　　　Hadoop之failed task和killed task

　　　　Hadoop的排程器總結

hive

　　Hive體系架構

　　應用

　　　　Hadoop和Hive的資料處理流程

　　管理

　　　　hive部署手冊

　　　　hive元資料中utf8的修改

　　　 hive併發呼叫的執行方式-個人經驗篇

　　　　hive Cli常用操作(翻譯自Hive wiki)

　　　　hive資料型別(翻譯自Hive Wiki)

　　　　hive 建立/刪除/截斷表(翻譯自Hive wiki)

　　　　hive資料操作(翻譯自Hive wiki+例項講解)

　　　　hive原生和複合型別的資料載入和使用

　　　 hive修改表/分割槽語句

　　　　hive select操作(翻譯自Hive wiki)

　　　　hive GroupBy操作(翻譯自Hive wiki)

　　　 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法

　　　　Hive Join(翻譯自Hive wiki)

　　　　 hive lateral view語句(翻譯自Hive wiki)

　　　　Hive Union(翻譯自Hive wiki)

　　　　Hive子查詢(翻譯自Hive wiki)

　　　　 hive例項講解實現in和not in子句

　　　　Hive Explain(翻譯自Hive wiki)

　　　　Hive虛擬列(翻譯自Hive wiki)

　　　　hive 鎖定(翻譯自Hive wiki)

　　　 hive函式(Hive wiki)

　　　　hive udf開發流程(Hive wiki)

　　　　hive udaf開發入門和執行過程詳解

　　　　hive中UDTF編寫和使用

　　　　hive屬性(Hive wiki)

　　　　hive中分組取前N個值的實現

　　　　hive sql遇到的問題

　　優化

　　　　hive大資料傾斜總結

　　　　hive join詳解

　　　　hive檔案儲存格式

　　　　hive怎樣決定reducer個數

　　　　hive的hive.exec.parallel引數說明

　　　　hive local hadoop特性　　　　

pig

　　介紹入門

　　　　Apache Pig入門 –介紹/基本架構/與Hive對比

　　管理

　　　　pig部署手冊

　　教程

　　　　Apache Pig中文教程集合

zookeeper

　　ZooKeeper概述

　　部署與管理ZooKeeper

　　ZooKeeper典型應用場景

　　ZooKeeper程式設計師指南

　　Zookeeper Api(java)入門與應用

　　zookeeper java例子(官網)

　　zookeeper 生產者與消費者(官網)

　　zookeeper 應用場景與方案(官網)

　　ZooKeeper 會話超時

　　Watcher使用的注意事項

　　zookeeper 許可權控制

　　Paxos在大型系統中常見的應用場景

　　Zookeeper全解析——Paxos作為靈魂

　　Zookeeper全解析——Client端

　　zookeeper系列之通訊模型

hbase

　　HBase體系結構

　　hbase資料模型

　 HBase使用場景和成功案例

　　Hbase配置手冊

　　hbase shell(官方)

　　hbase shell基礎和常用命令詳解

　　HBase Java API類介紹

　　HBase配置效能調優

　　(H2與HBase)面向行or面向列的儲存模型

　　HBase查詢一條資料的過程

<div class="clear"></div>
<div class="diggword" id="digg_tips">
</div>

« 上一篇： Hadoop在MapReduce中使用壓縮詳解
» 下一篇： hadoop升級

</div>

<div class="postfoot">
	posted on <span id="post-date">2012-04-22 22:52</span> <a href="https://www.cnblogs.com/ggjucheng/">ggjucheng</a> 閱讀(<span id="post_view_count">35337</span>) 評論(<span id="post_comment_count">11</span>)  <a href="https://i.cnblogs.com/EditPosts.aspx?postid=2465625" rel="nofollow">編輯</a> <a href="#" onclick="AddToWz(2465625);return false;">收藏</a>
</div>

	<div class="post">			
		<div class="postTitle">
			<a href="#2662221" class="layer">#1樓</a><a name="2662221" id="comment_anchor_2662221"></a>
				<span>
					 <span class="comment_date">2013-04-20 01:29</span>
				</span>
			<a id="a_comment_author_2662221" href="http://home.cnblogs.com/u/137425/" target="_blank">mojunbin</a> <a href="http://msg.cnblogs.com/send/mojunbin" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_2662221" class="blog_comment_body">很不錯的收集，頂！</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(2662221,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(2662221,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(2662221,'vrjDR85agCKk1Lvab/YmQJoUiDsTxN5VIgK2ytVMcJ/m60CgqYOeKA==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(2662221,'vrjDR85agCKk1Lvab/YmQJoUiDsTxN5VIgK2ytVMcJ/m60CgqYOeKA==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#2818468" class="layer">#2樓</a><a name="2818468" id="comment_anchor_2818468"></a>
				<span>
					 <span class="comment_date">2013-11-18 11:26</span>
				</span>
			<a id="a_comment_author_2818468" href="http://home.cnblogs.com/u/197426/" target="_blank">twlkyao</a> <a href="http://msg.cnblogs.com/send/twlkyao" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_2818468" class="blog_comment_body">很不錯的系統學習的資料</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(2818468,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(2818468,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(2818468,'maYYV0xGETlrX98nmrjnYI+K7nbLXC8ONayayUU3PgLPvzVY5MF63g==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(2818468,'maYYV0xGETlrX98nmrjnYI+K7nbLXC8ONayayUU3PgLPvzVY5MF63g==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#2888727" class="layer">#3樓</a><a name="2888727" id="comment_anchor_2888727"></a>
				<span>
					 <span class="comment_date">2014-03-05 11:26</span>
				</span>
			<a id="a_comment_author_2888727" href="http://home.cnblogs.com/u/596259/" target="_blank">it_blog_zpt</a> <a href="http://msg.cnblogs.com/send/it_blog_zpt" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_2888727" class="blog_comment_body">很好的集合</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(2888727,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(2888727,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(2888727,'bBsIDmh91oDW2FCKwRM2biAG4VtXa4CXl3iA7Wy9vfHIT5uCn5VjGQ==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(2888727,'bBsIDmh91oDW2FCKwRM2biAG4VtXa4CXl3iA7Wy9vfHIT5uCn5VjGQ==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#2910898" class="layer">#4樓</a><a name="2910898" id="comment_anchor_2910898"></a>
				<span>
					 <span class="comment_date">2014-04-03 20:38</span>
				</span>
			<a id="a_comment_author_2910898" href="https://www.cnblogs.com/fenglife/" target="_blank">fenglife</a> <a href="http://msg.cnblogs.com/send/fenglife" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_2910898" class="blog_comment_body">很系統性的學習資料，非常感謝</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(2910898,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(2910898,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(2910898,'WDJ/Nr4ciY9ZTYY798cidPK078CxriaYVKdWbhVB7uuQ2KesSc0S9Q==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(2910898,'WDJ/Nr4ciY9ZTYY798cidPK078CxriaYVKdWbhVB7uuQ2KesSc0S9Q==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#2924079" class="layer">#5樓</a><a name="2924079" id="comment_anchor_2924079"></a>
				<span>
					 <span class="comment_date">2014-04-23 21:14</span>
				</span>
			<a id="a_comment_author_2924079" href="http://home.cnblogs.com/u/475594/" target="_blank">whdugh</a> <a href="http://msg.cnblogs.com/send/whdugh" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_2924079" class="blog_comment_body">樓主的學習精神值得敬佩</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(2924079,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(2924079,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(2924079,'5ijt8hjg3ATXc1iTKRFkFAhjkhVjTGzWOfAqlGynh33i2IdmCNJBJQ==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(2924079,'5ijt8hjg3ATXc1iTKRFkFAhjkhVjTGzWOfAqlGynh33i2IdmCNJBJQ==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#3023835" class="layer">#6樓</a><a name="3023835" id="comment_anchor_3023835"></a>
				<span>
					 <span class="comment_date">2014-09-05 11:45</span>
				</span>
			<a id="a_comment_author_3023835" href="https://www.cnblogs.com/renxinyuan/" target="_blank">任心願</a> <a href="http://msg.cnblogs.com/send/%E4%BB%BB%E5%BF%83%E6%84%BF" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_3023835" class="blog_comment_body">太感謝博主啦！！灰常不錯的學習資料！！</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(3023835,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(3023835,'Bury',this)">反對(0)</a></div><span id="comment_3023835_avatar" style="display:none;">http://pic.cnblogs.com/face/653419/20170329222620.png</span>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(3023835,'tXkW2PNcMuBktOek3dGI3dZw0HhrfBrX1cTBtQ6heSNfK6QaHspwYQ==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(3023835,'tXkW2PNcMuBktOek3dGI3dZw0HhrfBrX1cTBtQ6heSNfK6QaHspwYQ==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#3130534" class="layer">#7樓</a><a name="3130534" id="comment_anchor_3130534"></a>
				<span>
					 <span class="comment_date">2015-02-19 00:25</span>
				</span>
			<a id="a_comment_author_3130534" href="https://www.cnblogs.com/baolibin528/" target="_blank">鮑禮彬</a> <a href="http://msg.cnblogs.com/send/%E9%B2%8D%E7%A4%BC%E5%BD%AC" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_3130534" class="blog_comment_body">真心感謝博主</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(3130534,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(3130534,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(3130534,'cRO8bnWSumV2EsL+q9jLUhDy4Z+drWi93unQIbniFKRhkB0/namfmQ==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(3130534,'cRO8bnWSumV2EsL+q9jLUhDy4Z+drWi93unQIbniFKRhkB0/namfmQ==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#3593481" class="layer">#8樓</a><a name="3593481" id="comment_anchor_3593481"></a>
				<span>
					 <span class="comment_date">2016-12-30 21:12</span>
				</span>
			<a id="a_comment_author_3593481" href="http://home.cnblogs.com/u/1089148/" target="_blank">沙漠有痕</a> <a href="http://msg.cnblogs.com/send/%E6%B2%99%E6%BC%A0%E6%9C%89%E7%97%95" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_3593481" class="blog_comment_body">非常有條理 看著很不錯 謝謝博主！</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(3593481,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(3593481,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(3593481,'7td45CIHt4rpjNBDmo1bGrhTdMb9WD7+qN3tJt6KVRSvUF3B3ZwLDA==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(3593481,'7td45CIHt4rpjNBDmo1bGrhTdMb9WD7+qN3tJt6KVRSvUF3B3ZwLDA==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#3666696" class="layer">#9樓</a><a name="3666696" id="comment_anchor_3666696"></a>
				<span>
					 <span class="comment_date">2017-04-13 00:19</span>
				</span>
			<a id="a_comment_author_3666696" href="https://www.cnblogs.com/xxxholicl/" target="_blank">老妖仔</a> <a href="http://msg.cnblogs.com/send/%E8%80%81%E5%A6%96%E4%BB%94" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_3666696" class="blog_comment_body">感謝博主的整理！</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(3666696,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(3666696,'Bury',this)">反對(0)</a></div><span id="comment_3666696_avatar" style="display:none;">http://pic.cnblogs.com/face/1116425/20170302142428.png</span>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(3666696,'b7B+ntf9zXAtRQ+9L9uHbNu9YO4fbWy2qeHKfI+omZeY+f/DM9nb/Q==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(3666696,'b7B+ntf9zXAtRQ+9L9uHbNu9YO4fbWy2qeHKfI+omZeY+f/DM9nb/Q==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#3907328" class="layer">#10樓</a><a name="3907328" id="comment_anchor_3907328"></a>
				<span>
					 <span class="comment_date">2018-02-11 15:38</span>
				</span>
			<a id="a_comment_author_3907328" href="https://www.cnblogs.com/laov/" target="_blank">大牛筆記</a> <a href="http://msg.cnblogs.com/send/%E5%A4%A7%E7%89%9B%E7%AC%94%E8%AE%B0" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_3907328" class="blog_comment_body"><a href="http://www.daniubiji.cn/archives/596" target="_blank">http://www.daniubiji.cn/archives/596</a><br>HDFS讀寫流程</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(3907328,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(3907328,'Bury',this)">反對(0)</a></div><span id="comment_3907328_avatar" style="display:none;">http://pic.cnblogs.com/face/u352072.gif?id=18105439</span>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(3907328,'tGAgHM5YXKUHh55BLbSRik0qnHLMTe37IkRtJJW9I9WjPCHOG9Dp2A==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(3907328,'tGAgHM5YXKUHh55BLbSRik0qnHLMTe37IkRtJJW9I9WjPCHOG9Dp2A==')">引用</a></span>
        </div>
	</div>
	<br>

	<div class="post">			
		<div class="postTitle">
			<a href="#4099308" class="layer">#11樓</a><a name="4099308" id="comment_anchor_4099308"></a><span id="comment-maxId" style="display:none;">4099308</span><span id="comment-maxDate" style="display:none;">2018/10/26 15:02:16</span>
				<span>
					 <span class="comment_date">2018-10-26 15:02</span>
				</span>
			<a id="a_comment_author_4099308" href="http://home.cnblogs.com/u/1494828/" target="_blank">jjjjkk</a> <a href="http://msg.cnblogs.com/send/jjjjkk" title="傳送站內短訊息" class="sendMsg2This">&nbsp;</a>
		</div>
		<div class="postText">
			<div id="comment_body_4099308" class="blog_comment_body">作者深度好文，深受感慨，想要繼續交流學習的小夥伴可以加大資料群：824762628，進群可向管理員免費獲取hadoop大資料資料一份</div><div class="comment_vote"><a href="javascript:void(0);" class="comment_digg" onclick="return voteComment(4099308,'Digg',this)">支援(0)</a><a href="javascript:void(0);" class="comment_bury" onclick="return voteComment(4099308,'Bury',this)">反對(0)</a></div>
		</div>
        <div class="commentOpt">
		&nbsp;&nbsp;<span class="comment_actions"><a href="javascript:void(0);" onclick="return ReplyComment(4099308,'DLZW7SvoKBq7whGby32S+7PbRr1lOA1REEnOCTcRhqKhFAVlrxqjQw==')">回覆</a><a href="javascript:void(0);" onclick="return QuoteComment(4099308,'DLZW7SvoKBq7whGby32S+7PbRr1lOA1REEnOCTcRhqKhFAVlrxqjQw==')">引用</a></span>
        </div>
	</div>
	<br>

hadoop學習筆記（一）

存儲實時管理層核心架構圖數據服務 pre oop nod 一、hadoop的概念二、hadoop的發展歷史三、hadoop1.x的生態系統 HBase：實時分布式數據庫　　相當於關系型數據庫，數據放在文件中，文件就放在HDFS中。因此HBase是

hadoop學習筆記（七）：Java HDFS API

on() apr name pin package 目錄 except 讀取 play 一、使用HDFS FileSystem詳解 HDFS依賴的第三方包：　　hadoop 1.x版本：　　commons-configuration-1.6.jar 　　comm

hadoop學習筆記（五）：HBase體系結構和數據模型

ems 服務器端們的 code 修改保存重新 table lpad 1. HBase體系結構一個完整分布式的HBase的組成示意圖如下，後面我們再詳細談其工作原理。 1)Client 包含訪問HBase的接口並維護cache來加快對HBase的訪問。 2）Zooke

hadoop學習筆記（三）：hdfs體系結構和讀寫流程（轉）

sim 百萬服務器發表繼續什麽 lose 基於一次原文：https://www.cnblogs.com/codeOfLife/p/5375120.html 目錄 HDFS 是做什麽的 HDFS 從何而來為什麽選擇 HDFS 存儲數據 HDFS

HADOOP學習筆記（四）：HBase

系統唯一性創建時間必須就是入口計算 hfile mapreduce HBase簡介 Hbase是分布式、面向列的開源數據庫（其實準確的說是面向列族）。HDFS為Hbase提供可靠的底層數據存儲服務，MapReduce為Hbase提供高性能的計算能力，Zooke

大資料Hadoop學習筆記（三）

1.HDFS架構講解 2.NameNode啟動過程 3.YARN架構組建功能詳解 4.MapReduce 程式設計模型 HDFS架構講解源自谷歌的GFS論文 HDFS： *抑鬱擴充套件的分散式系統 *執行在大量普通的鏈家機器上，提供容錯機制 *為

大資料Hadoop學習筆記（二）

Single Node Setup 官網地址 1. 本地模式 2.偽分散式模式 ************************* 本地模式 **************************** . grep input output ‘dfs[a-

大資料Hadoop學習筆記（一）

大資料Hadoop2.x hadoop用來分析儲存網路資料 MapReduce：對海量資料的處理、分散式。思想————> 分而治之，大資料集分為小的資料集，每個資料集進行邏輯業務處理合並統計資料結果（reduce）執行模式：本地模式和yarn模式 input—

大資料Hadoop學習筆記（五）

分散式部署本地模式Local Mode 分散式Distribute Mode 偽分散式一臺機器執行所有的守護程序從節點DN和NM只有一個完全分散式

大資料Hadoop學習筆記（四）

MapReduce執行過程 ======== step1 ： input InputFormat 讀取資料轉換成<key, value>

大資料Hadoop學習筆記（六）

HDFS HA 背景：在hadoop2.0之前，HDFS叢集中的NameNode存在單點故障（SPOF）對於只有一個NameNode的叢集，若NameNode機器出現故障，則整個叢集將無法使用，直到NameNode重新啟動 NameNode主要在一下兩方面影響

Hadoop學習筆記（一）從官網下載安裝包

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！

Hadoop學習筆記（8）－簡述分散式資料庫Hbase原理

1.Hbase簡介 Hbase是一個分散式可擴充套件的NoSQL資料庫，提供對結構化，半結構化，非結構化大資料的實時讀寫和隨機訪問能力，而且操作速度與資料量基本無關，所以可以用於海量資料處理。Hbase之於HDFS就類似於資料庫之於檔案系統。自然Hbase是建

C# Hadoop學習筆記（一）—環境安裝

一、安裝環境 1，前期準備：官網下載“NuGet Package Manager”，按自己已有的VS環境下載對應版本； 3，安裝。 4，通過HDInsight，安裝Windows Azure，目前是預覽版本。二、測試DEMO using System; using

hadoop學習筆記（五） java heap space報錯

Java heap space 報錯實驗過程中，執行map過程中，出現task failed，報錯為java heap space，原因是jvm的記憶體太小了，無法達到要求，修改方法一般是改程序序，減小程式消耗的記憶體，還有就是增大datanode的jvm記

Hadoop學習筆記（二）設定單節點叢集

本文描述如何設定一個單一節點的 Hadoop安裝，以便您可以快速執行簡單的操作，使用HadoopMapReduce和Hadoop分散式檔案系統(HDFS)。Hadoop版本：Apache Hadoop 2.5.1系統版本：CentOS 6.5，核心（uname -r）：2.6

hadoop學習筆記（2）偽分佈模式配置

前面介紹了linux下hadoop的安裝和簡單配置，主要是獨立模式的配置，所謂獨立模式是指不需要執行任何守護程序（daemon），所有程式都再單個JVM上執行，由於在獨立模式下測試和除錯MapReduce程式較為方便，因此該模式適合用在開發階段。這裡主要記錄了本人配置hadoop偽分佈模式的過程。所謂

Hadoop學習筆記（3）－搭建Hadoop偽分散式

0.前言 1.配置core-site.xml檔案配置hadoop目錄下的etc/Hadoop/core-site.xml檔案。新增如下內容：官網上只配置了fs.defaultFS引數，這個引數是配置hdfs的url地址。配置好後就可

hadoop學習筆記（十一）：MapReduce數據類型

筆記 ash all 記錄 write 一個操作 png bool 一、序列化 1 hadoop自定義了數據類型，在hadoop中，所有的key/value類型必須實現Writable接口。有兩個方法，一個是write，一個是readFileds。分別用於讀（反序列化操

Hadoop學習筆記（待整理）

sbin auth host jdk 配置環境變量整理 localhost 修改 -s 安裝步驟： 1、安裝虛擬機系統，並進行準備工作（可安裝一個然後克隆） 2.修改各個虛擬機的hostname和host 3.創建用戶組和用戶 4、配置虛擬機網絡，使虛擬機系統之間以及和

Hadoop的學習筆記（Hive|pig|zookeeper|hbase）

評論

相關推薦