2. 程式人生 > >hive的用戶和用戶權限

hive的用戶和用戶權限

阿新 • • 發佈：2018-05-31
相關 rev oca padding leo 默認 imp body example

hive的用戶和用戶權限

HiverServer2支持遠程多客戶端的並發和認證，支持通過JDBC、Beeline等連接操作。hive默認的Derby數據庫，由於是內嵌的文件數據庫，只支持一個用戶的操作訪問，支持多用戶需用mysql保存元數據。現在關心的是HiveServer如何基於mysql元數據庫管理用戶權限，其安全控制體系與Linux及Hadoop的用戶是否存在聯系。

1）remote方式部署Hive

Hive中metastore（元數據存儲）的三種方式：內嵌Derby方式、基於mysql的Local方式、基於mysql的Remote方式。顯然多用戶並發模式是采用remote方式部署，Hiveserver元數據放置在mysql數據庫並在mysql建立用戶，HiveClient遠程連接。回顧下remote方式部署Hive：

第一步：元數據庫mysql創建用戶名和數據庫；

第二步：HiveServer在 hive-site.xml 文件中配置jdbc URL、驅動、用戶名、密碼等屬性；

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://mysql server IP/hive_meta?createDatabaseIfNotExist=true</value>

<description>JDBC connect string for aJDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for aJDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

<description>username to use againstmetastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive</value>

<description>password to use againstmetastore database</description>

</property>

<property>

<name>hive.metastore.warehouse.dir</name>

<!-- base hdfs path -->

<value>/user/hive/warehouse</value>

<description>base hdfs path :locationof default database for the warehouse</description>

</property>

第三步：HiveClient在hive-site.xml 文件中配置thrift(負責client和server的通信)和存儲路徑；

<!--thrift://<host_name>:<port> 默認端口是9083 -->

<property>

<name>hive.metastore.uris</name>

<value>thrift://Hiveserver IP:9083</value>

<description>Thrift uri for the remotemetastore. Used by metastore client to connect to remotemetastore.</description>

</property>

<!-- hive表的默認存儲路徑 -->

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

<description>location of defaultdatabase for the warehouse</description>

</property>

< property >

< name >hive.metastore.local</ name >

< value >false</ value>

</ property >

第四步：HiveServer啟動metastore監聽

執行命令：hive--service metastore -p <port_num> //默認端口是9083

第五步：HiveClient執行hive命令。

上述5步，下圖是很清晰的展現。

技術分享圖片

2）msyql元數據字典表

從remote方式部署的Hive看，還未體現出多用戶管理及其權限控制，需進一步深入研究下圖四個模塊的關系。

技術分享圖片

Hive早期版本是通過Linux的用戶和用戶組來控制用戶權限，無法對Hive表的CREATE、SELECT、DROP等操作進行控制。現Hive基於元數據庫來管理多用戶並控制權限。數據分為元數據和數據文件兩部分，元數據存儲在mysql，而數據文件則是HDFS，控制元數據即控制可訪問的數據文件。

Hive在mysql上的元數據表主要分為：Database相關、Table相關、數據存儲相關SDS、COLUMN相關、SERDE相關(序列化)、Partition相關(分區)、SKEW相關(數據傾斜)、BUCKET相關(分桶)、PRIVS相關(權限管理)，對數據庫-數據表、用戶有相應關系體現。其中TBL_PRIVS存儲了表/視圖的授權信息，見如下數據字典：

元數據表字段

說明

示例數據

TBL_GRANT_ID

授權ID

1

CREATE_TIME

授權時間

1436320455

GRANT_OPTION

?

0

GRANTOR

授權執行用戶

liuxiaowen

GRANTOR_TYPE

授權者類型

USER

PRINCIPAL_NAME

被授權用戶

username

PRINCIPAL_TYPE

被授權用戶類型

USER

TBL_PRIV

權限

Select、Alter

TBL_ID

表ID

22，對應TBLS表中的TBL_ID

再看mysql中存儲Hive中所有數據庫基本信息的表DBS數據字典：

元數據表字段

說明

示例數據

DB_ID

數據庫ID

2

DESC

數據庫描述

測試庫

DB_LOCATION_URI

數據庫HDFS路徑

hdfs://namenode/user/hive/warehouse/sample.db

NAME

數據庫名

lxw1234

OWNER_NAME

數據庫所有者用戶名

lxw1234

OWNER_TYPE

所有者角色

USER

從mysql存儲的Hive元數據表數據字典看，Hive是基於元數據mysql管理多用戶權限，用戶權限信息都存儲在元數據表中。要重點理解是，mysql只是保存Hive的元數據，mysql本身的用戶和Hive沒有關系，Hive只是把自己的用戶信息保存在mysql元數據表中。數據字典中關於權限元數據總結如下：

Db_privs:記錄了User/Role在DB上的權限

Tbl_privs:記錄了User/Role在table上的權限

Tbl_col_privs：記錄了User/Role在table column上的權限

Roles：記錄了所有創建的role

Role_map：記錄了User與Role的對應關系

3）Hive用戶權限管理

從remote部署hive和mysql元數據表字典看，已經明確hive是通過存儲在元數據中的信息來管理用戶權限。現在重點是Hive怎麽管理用戶權限。首先要回答的是用戶是怎麽來的，發現hive有創建角色的命令，但沒有創建用戶的命令，顯然Hive的用戶不是在mysql中創建的。在回答這個問題之前，先初步了解下Hive的權限管理機制。

第一：在hive-site.xml文件中配置參數開啟權限認證

<property>

<name>hive.security.authorization.enabled</name>

<value>true</value>

<description>enableor disable the hive clientauthorization</description>

</property>

<property>

<name>hive.security.authorization.createtable.owner.grants</name>

<value>ALL</value>

<description>theprivileges automatically granted to the ownerwhenever a table gets created. Anexample like "select,drop" willgrant select and drop privilege to theowner of the table</description>

</property>

hive.security.authorization.enabled參數是開啟權限驗證，默認為false。

hive.security.authorization.createtable.owner.grants參數是指表的創建者對表擁有所有權限。

第二：Hive的權限管理是通過用戶(User)、組(Group)、角色(Role)來定義，角色定義了權限，賦予給組或用戶，用戶歸屬於組。

角色相關命令：create role rolename、drop rolename、grant rolename to user username；

第三：Hive權限控制：

操作

解釋

ALL

所有權限

ALTER

允許修改元數據（modify metadata data of object）---表信息數據

UPDATE

允許修改物理數據（modify physical data of object）---實際數據

CREATE

允許進行Create操作

DROP

允許進行DROP操作

INDEX

允許建索引（目前還沒有實現）

LOCK

當出現並發的使用允許用戶進行LOCK和UNLOCK操作

SELECT

允許用戶進行SELECT操作

SHOW_DATABASE

允許用戶查看可用的數據庫

例子：把select權限授權給username用戶，命令如下：

hive>grant select on database databasename to user username;

第四：為限制任何用戶都可以進行Grant/Revoke操作，提高安全控制，需事先Hive的超級管理員。在hive-site.xml中添加hive.semantic.analyzer.hook配置，並實現自己的權限控制類HiveAdmin。

<property>

<name>hive.semantic.analyzer.hook</name>

<value>com.hive.HiveAdmin</value>

</property>

com.hive.HiveAdmin類代碼如下：

package com.hive;
importorg.apache.hadoop.hive.ql.parse.ASTNode;
importorg.apache.hadoop.hive.ql.parse.AbstractSemanticAnalyzerHook;
importorg.apache.hadoop.hive.ql.parse.HiveParser;
importorg.apache.hadoop.hive.ql.parse.HiveSemanticAnalyzerHookContext;
importorg.apache.hadoop.hive.ql.parse.SemanticException;
importorg.apache.hadoop.hive.ql.session.SessionState;
publicclass  HiveAdmin extendsAbstractSemanticAnalyzerHook {
privatestatic String admin = "admin";
   @Override
publicASTNodepreAnalyze(HiveSemanticAnalyzerHookContextcontext,
ASTNodeast)throws SemanticException {
switch(ast.getToken().getType()) {
caseHiveParser.TOK_CREATEDATABASE:
caseHiveParser.TOK_DROPDATABASE:
caseHiveParser.TOK_CREATEROLE:
caseHiveParser.TOK_DROPROLE:
caseHiveParser.TOK_GRANT:
caseHiveParser.TOK_REVOKE:
caseHiveParser.TOK_GRANT_ROLE:
caseHiveParser.TOK_REVOKE_ROLE:
             StringuserName = null;
if(SessionState.get() != null
&&SessionState.get().getAuthenticator()!= null){
userName=SessionState.get().getAuthenticator().getUserName();
            }
if(!admin.equalsIgnoreCase(userName)) {
thrownewSemanticException(userName
                        + " can‘t use ADMIN options,except " + admin +".");
            }
break;
default:
break;
        }
returnast;
    }
}


這樣只有admin用戶這一超級管理員可以進行Grant/Revoke操作。

到此基本理解了Hive的用戶權限管理框架，但核心問題還是Hive的用戶組和用戶來自於哪裏？既不是mysql中的用戶，Hive本身也不提供創建用戶組和用戶的命令。折騰一番後，突然理解Hive用戶組和用戶即Linux用戶組和用戶，和hadoop一樣，本身不提供用戶組和用戶管理，只做權限控制。

到此可以梳理下Hive用戶權限管理的簡單流程：

第一步：創建超級管理員；

第二步：新建linux用戶組和用戶，也可以在既定用戶組下建用戶，賦予用戶hive目錄權限；

第三步：超級管理員進入hive，授權新建用戶組和用戶的操作權限；

第四步：客戶端可以通過新建用戶名和密碼連接到hive執行授權內的動作；

4）Beeline工具

HiveServer2提供了一個新的命令行工具Beeline，它是基於SQLLine CLI的JDBC客戶端。Beeline工作模式有兩種，即本地嵌入模式和遠程模式。嵌入模式情況下，它返回一個嵌入式的Hive（類似於Hive CLI）；而遠程模式則是通過Thrift協議與某個單獨的HiveServer2進程進行連接通信。

%bin/beeline

beeline>!connect

jdbc:hive2://<host>:<port>/<db>;

auth=noSaslhiveuser password org.apache.hive.jdbc.HiveDriver

命令中db就是在hiveserver中配置好的數據庫並授權hiveuser使用。

5）總結

首先hive用戶來自linux，和hadoop一樣，並具有組、用戶、角色的管理體系，其權限信息保存在元數據庫中。

當然hive安全認證還有很多需要進一步了解，以進一步管理hadoop集群平臺。

hive的用戶和用戶權限

相關推薦

hive的用戶和用戶權限

相關 rev oca padding leo 默認 imp body example hive的用戶和用戶權限 HiverServer2支持遠程多客戶端的並發和認證，支持通過JDBC、Beeline等連接操作。hive默認的Derby數據庫，由於是內嵌的文件數據庫，只支

Linux基礎知識之用戶和用戶組以及 Linux 權限管理

space 屬性 並且 用戶表 相同 發行版 切換 用戶登錄 是什麽 已經開始接觸Linux用戶管理，用戶組管理，以及權限管理這幾個逼格滿滿的關鍵字。這幾個關鍵字對於前端程序猿的我來說真的是很高大上有木有，以前嘗試學 Linux 的時候看到這些名詞總是下意識的跳過不敢看有木

samba共享目錄無法訪問的一般解決方案，非用戶登錄和讀寫權限問題

isa 用戶名 轉載 fedora 讀寫權限 sysconfig samba共享 path rc.d 配smb，被第四點坑了很久，特此轉載。 由於這5點都是比較普通的情況，不涉及用戶登錄和讀寫權限問題 1)關閉防火墻： #sevice iptables stop

Linux中文件權限、用戶和用戶組管理

文件權限 用戶和用戶組管理 umask 特殊權限 chatter 1、文件權限2、文件和目錄rwx權限說明文件rwx權限：r : 可讀，具有讀取文件內容的權限（），如果沒有r，vi/vim編輯器提示無法編輯（可強制編輯），echo可以追加或重定向。w : 可寫，具有修改文件內容的權限

mysqldump 備份數據庫用戶所需要的權限

fec show update mysqldump highlight blog ger sql 0 rows mysqldump 所需要的權限說明： 　　1、對於table 來說mysqldump 最少要有select 權限。 　　2、對於view 來說mysqldum

Oracle12c多租戶管理用戶、角色、權限

ota table logo 本地 emp 滿足 pdb 不可見 常見 Oracle 數據庫 12 c 多租戶選項允許單個容器數據庫 （CDB） 來承載多個單獨的可插拔數據庫 (PDB)。那麽我們如何在容器數據庫 (CDB) 和可插拔數據庫 (PDB)管理用戶權限。背景：當

vc判斷當前用戶是否具有administrator 權限代碼

color format min() new ins int class 判斷 auth BOOL IsAdmin() { HANDLE hAccessToken; BYTE * InfoBuffer = new BYTE[1024];

sqlserver用戶角色相關的權限

sql log 相關 -1 色相 img sqlserve mage 用戶角色 sqlserver用戶角色相關的權限

Oracle的用戶、角色以及權限相關操作

連接數據庫 創建用戶 opera pri count curry 操作 密碼 pro 1、創建用戶create user KD identified by 123456;2、授予連接數據庫的權限grant connect to KD;3、將Scott用戶的emp表授權給KD

linux基礎-給普通用戶組分配sudo權限

輸入 sudoer inux 指令 bsp linux 登錄 roo sudoers 在root用戶登錄下， 輸入 vim /etc/sudoers ,在root ALL=(ALL) ALL 這一行後面按著這種格式加上你要添加sudo權限的的用戶組名稱。 eg：

用戶、角色、權限數據庫設計

style str ole 管理 table char per varchar prim 權限管理 權限管理，主要是人員和權限之間的關系，但是如果讓人員直接和權限打交道，那麽權限的賦值、權限的撤銷以及權限的變動會非常的麻煩，這樣引入了，角色，給角色賦權限，然後給用戶分配角色

linux[基礎]-20-用戶與文件權限-[文件特殊權限]-[01]

.cn 工作 授權 span operation 限制 們的 abr 管理員 用戶與文件權限 用戶： 　　用戶root是系統的超級管理員，而真正讓他成為管理員的不是 　　用戶名“root”，而是其UID編號。 UID：每個用戶都有相對應的UID號，就像我們的身份證號

linux[基礎]-20-用戶與文件權限-[文件隱藏權限]-[02]

-- rem inux ted 所有 attr width col 新建 文件的隱藏權限 文件的權限除了讀、寫和SUID、SGID、SBIT之外還有一種特殊的權限 　　例如：你有權限刪除某一個文件而不能刪除，又或者是你僅僅只能 　　　　　　為某個文件追加內容而不能去減少

用戶及文件權限管理

linux添加用戶、文件權限、網絡配置

基礎1. 看用戶賬戶信息文件：cat或less /etc/passwd（都在這個位置）回車後，圖片下面是解釋的內容2. 添加用戶a1：useradd a1，要是查看剛才創建用戶，就是：tail /etc/passwd就有了（新創建的用戶默認是500開始，宿主目錄是/home，但root這個超級目錄的宿主目

【Linux筆記】第九篇、添加MariaDB用戶、設置權限

.com 生效 mysq local 分享圖片 style info user 創建 一、登錄mysql 二、創建用戶 create user [email protected] identified by ‘dev‘; 三、給新建用戶授權數據庫h_user的權限 授權

CentOS為普通用戶添加root權限，以便正常使用sudo命令

這一 bsp name 配置文件 blog sudo 通用 gpo oot su　　#先變更為root用戶 visudo　　#打開配置文件 找到“root ALL=(ALL) ALL”這一行，然後在其下新添加一行，類似這樣： YourUserName　　ALL=(AL

關於Linux，用戶，組，權限，文本處理工具，正則表達式，vim文本編輯器

rtx 元字符 否則 權限 tdi 行編輯 directory e2fs 登錄 一、 用戶 ??在Linux系統中，可以創建多個用戶，每一個用戶都有一個與其對應的ID號，就像每一個人都有一個×××號一樣，這就是用戶的UID，??在Linux中管理員 root的默認UID

linux 將任意一個用戶升為root權限

clas post mage linu 配置 img root權限 linux 最後一行 修改配置文件etc下的passwd文件 最後一行hpc:x:1000:1000:hpc,,,:/home/hpc:/bin/bash 1 將權限提升為root的權限碼0 2 將命

Ubuntu創建新用戶並增加管理員權限

命令 同名 success clas 自動創建 就會 log lin res 轉自:Ubuntu創建新用戶並增加管理員權限 $是普通管員，#是系統管理員，在Ubuntu下，root用戶默認是沒有密碼的，因此也就無法使用（據說是為了安全）。想用root的話，得給root