1. 程式人生 > >檢視Hbase指定表所佔空間

檢視Hbase指定表所佔空間

一、操作環境

  • ambari 2.4.3 + hdp 2.5.3 + hbase 1.1.2 + phoenix4.7 + kerberos + centos6.9

二、通過Hdfs 命令反推指定表所佔空間大小
如檢視T_PERSON_N對應的hbase表所佔大小

[[email protected] ~]# hdfs dfs -du -h /apps/hbase/data/data/default/
215.9 G   /apps/hbase/data/data/default/T_PERSON_N

筆者備份數量為3份,因些該表實際佔空間則為 3*215.9G=647.7G
該表4400萬,每條資料63個欄位,粗略算了下單條資料大概5K,算上備份則15K/條。

  • 如何確定 hdfs dfs -du -h /apps/hbase/data/data/default/ 算出來的所佔空間沒包含備份的呢?
    筆者是通過如下方式確認的:

執行如下命令算出總量

[root@hdp14 ~]# hdfs dfs -du -h /
433.5 M  /app-logs
842.3 G  /apps
87.3 M   /ats
658.2 M  /hdp
0        /mapred
1.2 M    /mr-history
21.5 G   /ranger
188.3 K  /spark-history
41.2 G   /tmp
44.0 M   /user
  • 大概加起來905G,備份係數為3,則共佔用空間 905*3/1024 = 2.65T
  • 這時通過Ambari介面檢視DFS大概使用了2.7TB,所以可以確定hdfs dfs -du算出來的空間大小是沒有包含備份的
    Ambari介面結果如下所示:
    Disk Usage (DFS Used) 2.7 TB / 7.9 TB (33.68%)

相關推薦

檢視Hbase指定空間

一、操作環境 ambari 2.4.3 + hdp 2.5.3 + hbase 1.1.2 + phoenix4.7 + kerberos + centos6.9 二、通過Hdfs 命令反推指定

oracle查詢表空間大小以及每個空間的大小

1、查詢資料庫中所有的表空間以及表空間所佔空間的大小,直接執行語句就可以了: select tablespace_name, sum(bytes)/1024/1024 from dba_data_files group by tablespace_name; 2、查看

SQL Server檢視所有大小,空間

create table #Data(name varchar(100),row varchar(100),reserved varchar(100),data varchar(100),index_size varchar(100),unused varchar(100)

linux中詳細檢視空間大小及檔案個數

統計某資料夾下檔案的個數 ls -l |grep "^-"|wc -l 統計某資料夾下目錄的個數 ls -l |grep "^d"|wc -l 統計資料夾下檔案的個數,包括子資料夾裡的 ls -lR|grep "^-"|wc -l 如統計/home/han目錄(包含子目錄)下的所有js檔案則: ls -lR

oracle如何查詢分區空間大小

rac 查詢 part clas nts sele post segments upper select bytes/1024/1024 from user_segments where segment_type=‘TABLE PARTITION‘ and segme

【C++】使用sizeof計算類物件空間大小-sizeof總結

 決定C ++中物件的大小的因素: 1.所有非靜態資料成員的大小 2.資料成員的順序 3.位元組對齊或位元組填充 4.其直接基類的大小虛擬函式的存在 5.  正在使用的編譯器 6.繼承模式(虛擬繼承) 一、使用sizeof計算類物件所佔空間大小

linux下檢視某一程式記憶體

原文:https://blog.csdn.net/rickiyeat/article/details/70230253  第一種方式 top -p 程序號 1 [[email protected] micro-service]$ top -p 20490 top

C++中型別的通常範圍和空間大小

重要宣告:以下表格是在  Windows10 和 Dev-C++5.11 和 g++ 和 64-bit Release  環境下測試的結果。 C++型別的範圍和所佔空間大小 型別 數

八種基本資料型別各自空間大小

在JAVA中一共有八種基本資料型別。 他們分別是byte、short、int、long、float、double、char、boolean 整型 其中byte、short、int、long都是表示整數的,只不過他們的取值範圍不一樣 byte的取值範圍為-128~127,佔用

android IDE——通過DDMS檢視app執行時記憶體情況

在android記憶體優化方面,我們不可能做到沒有大記憶體的佔用情況。 所以有時候要清楚我們的app到底佔用了多少記憶體,哪一步操作佔用了多少的記憶體。 這時候,android的ddms中提供了一個工具,是可是實時檢視app執行時的記憶體使用情況。 下面我

列舉(enum)空間

列舉(enum) 列舉的定義: enum LOG_LEVEL { DBG, INF, WAR, ERR, FAT, ALL, OFF }; void WriteInfor(LOG_LEVEL level)

結構體空間大小的運算

在C/C++中我們常常會看到有求一個結構體的大小的情況,有時候我們就會想:不就是結構體中各個資料型別所佔的空間加起來就行啦,那麼事實上是不是這樣呢?答案:不是滴。原因是:為了加快讀寫資料的速度,編譯器就實現了資料對其的做法來為每一個結構體分配空間。 這裡我只講結構體中資料對

刪除windows目錄中空間為0的檔案

       windows系統下,winrar包中檔名中最多可包含64字元,在用winrar解壓xxx.tar.gz包時,若包中有些檔名過長,則winrar可能會截斷其檔名,且發現這些被截斷的檔案屬性大小及佔用空間為0位元組,又無法刪除這些檔案。       

怎麼計算struct結構空間

        C語言結構體struct所佔空間的計算一直是公司筆試題中的熱點。         我們來看一下每種情況下的結構體的大小: 一、結構體成員是基本型別         總體上遵循兩個原則:        (1)、整體空間是佔用空間最大的

C/C++中基本資料型別在不同系統中空間大小

關於這個基本的問題,很早以前就很清楚了,C標準中並沒有具體給出規定那個基本型別應該是多少位元組數,而且這個也與機器、OS、編譯器有關,比如同樣是在32bits的作業系統系,VC++的編譯器下int型別

獲取元素位置資訊和空間大小(via:js&jquery)

工作中有一個很常見的需求,hover或者click某元素後,在該元素旁邊出現彈框,主要就是獲取該元素的位置座標以及元素所佔區塊的大小。最近工作中就遇到了,發現js和jquery的實現方法有很大的區別,這裡總結一下,備忘。 獲取元素的相對位置資訊 原生js方法

linux相關-檢視日誌,檢視程序,程序的埠號

檢視日誌tail -f filename 預設看最後10行,而且不斷重新整理tail -n -20 filename 看最後20行資料引數:tail [ -f ] [ -c Number | -n Number | -m Number | -b Number | -k Num

greenplum 管理及檢視分割槽空間大小

參考: http://www.xue5.com/Data/DataBase/693580.html 4.3. 管理表 或許你要說create table還要你在這邊指手畫腳的?其實不然,即使在Oracle裡面也還是有很多選項和引數未必都很清楚,何況是換了個不熟悉的gp,所

SQL Server查看所有大小,空間

close pla fetch order by lac lar HERE etc next CREATE TABLE #Data( name VARCHAR(100), row VARCHAR(100), reserved VARCHAR(100),

檢視當前mysql的指定庫的指定的所有列欄位

-- 檢視當前mysql的所有資料庫  select * from INFORMATION_SCHEMA.SCHEMATA; --  檢視當前mysql的指定庫的指定表的所有列 select * from INFORMATION_SCHEMA.COLUMNS wher