2. 程式人生 > >Hive使用正則表示式讀取資料

Hive使用正則表示式讀取資料

阿新 • • 發佈：2018-11-11

上一篇部落格中hive中載入的資料都是比較規整的(Hive的基本操作：https://blog.csdn.net/Chris_MZJ/article/details/83713882)，欄位與

欄位之間都是分割好的，每一個欄位都不是髒資料，並且每一個欄位都是有意義的但是在真實場景中不見得這個盡人意。比如hive要讀取以下格式的tomcat的執行日誌：

192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-upper.png HTTP/1.1" 304 -

我們可以看到，日誌中的資料是不規則的，不能憑某一個分隔符就能將資料分割成欄位，為此，可以通過使用正則表示式來讀取資料，建立一個logtbl表：

 CREATE TABLE logtbl (
    host STRING,
    identity STRING,
    t_user STRING,
    time STRING,
    request STRING,
    referer STRING,
    agent STRING)
  ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
  WITH SERDEPROPERTIES (
    "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) \\[(.*)\\] \"(.*)\" (-|[0-9]*) (-|[0-9]*)"
  )
  STORED AS TEXTFILE;

input.regex" = "([^ ]) ([^ ]) ([^ ]) \[(.)\] "(.)" (-|[0-9]) (-|[0-9]*)"就是通過正則表示式來讀取不規則資料，

org.apache.hadoop.hive.serde2.RegexSerDe是引用的jar包。

建立logerr檔案：

[[email protected] ~]# vim logerr

192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-upper.png HTTP/1.1" 304 -

將logerr載入到logtbl中並查詢：

hive> load data local inpath "/root/logerr" into table logtbl;
Loading data to table test.logtbl
Table test.logtbl stats: [numFiles=1, totalSize=1739]
OK
Time taken: 2.085 seconds
hive> select * from logtbl;
OK
logtbl.host	logtbl.identity	logtbl.t_user	logtbl.time	logtbl.request	logtbl.referer	logtbl.agent
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-upper.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-nav.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /asf-logo.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-button.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-middle.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.css HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /asf-logo.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-middle.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-button.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-nav.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-upper.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.css HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.css HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-button.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-upper.png HTTP/1.1	304	-
Time taken: 0.21 seconds, Fetched: 22 row(s)
hive>

通過正則表示式，讀取到了logerr中的不規則資料。

注意：檔案中原始髒資料不會變的，只是hive在讀的時候，將髒資料清理掉再顯示出來。

例如，建立包含下面這條資料的檔案：

[[email protected] ~]# vim err

192.168.57.4 - - 123

然後將err檔案載入到上面已經建立好的logtbl表中：

hive> load data local inpath "/root/err" into table logtbl;
Loading data to table test.logtbl
Table test.logtbl stats: [numFiles=2, totalSize=1760]
OK
Time taken: 0.465 seconds
hive>

這一步沒有問題，因為load就是將資料拷貝到工作目錄區中，接下來查詢表中的記錄：

hive> select * from logtbl;
OK
logtbl.host	logtbl.identity	logtbl.t_user	logtbl.time	logtbl.request	logtbl.referer	logtbl.agent
NULL	NULL	NULL	NULL	NULL	NULL	NULL
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-upper.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-nav.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /asf-logo.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-button.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-middle.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.css HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /asf-logo.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-middle.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-button.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-nav.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-upper.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.css HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.css HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /tomcat.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-button.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET /bg-upper.png HTTP/1.1	304	-
Time taken: 0.126 seconds, Fetched: 23 row(s)
hive>

可以看到第一條記錄全是NULL，那是因為hive因為根據正則表示式的模板來讀資料，讀不懂192.168.57.4 - - 123這條資料，所以欄位全是NULL。

由此可以得出：hive根據正則表示式讀資料的時候，是讀時檢查資料格式對不對，而不是寫時檢查。

相關推薦

Hive使用正則表示式讀取資料

上一篇部落格中hive中載入的資料都是比較規整的(Hive的基本操作：https://blog.csdn.net/Chris_MZJ/article/details/83713882)，欄位與 欄位之間都是分割好的，每一個欄位都不是髒資料，並且每一個欄位都是有意義的但是在真實場景中不見得

Hive正則表示式對資料過濾

正在做的一個專案中，由於資料量比較大，所以資料的內容比較亂，比如說mac地址，這個地址有的資料中存在，有的資料中不存在，當通過hive進行匯出資料的時候，如果存在些非法的型別的資料會造成NoSuchElement異常，經過幾天的排查與摸索，終於將該隱患排除。

hive正則表示式regexp_extract的第三個引數index

表格的原始資料如下： a 152天內有67天無通話記錄 71天內有58天無通話記錄 154天內有8天無通話記錄 178天內有76天無通話記錄 NULL 159天內有69天無通話記錄 手機關機時

hive 正則表示式詳解

　　hive中的正則表示式還是很強大的。資料工作者平時也離不開正則表示式。對此，特意做了個hive正則表示式的小結。所有程式碼都經過親測，正常執行。 1.regexp 語法: A REGEXP B 操作型別: strings 描述: 功能與RLIKE

hive正則表示式

hive中實現正則表示式，與java中的正則表示式有所區別： 這裡經過探索總結了一些： hive中的正則可以用，但是有所區別，區別在於原來的‘\’ 轉義，這裡變成了雙斜槓了‘\\’ hive中的正則解析函式：regexp_extract;    例如：‘匹配 10.122

正則表示式去除資料帶HTML標籤方法

新的訊息列表介面，後臺返回的簡要說明和詳細說明是一個欄位，還是帶HTML標籤的欄位，只能自行 去除HTML標籤。 簡要說明一下，&.{2,6}?;   這個是正則表示式，是拿到 html的部分

大資料工作中常用的20條語句（hive，yarn，Linux，正則表示式等）

1.檢視hadoop任務 yarn application -list |grep 使用者名稱 yarn application -kill application_1443009203033_86621 2.liunx nohup命令 nohup ./label_driver.sh >

JavaSE_day9_常用API_Object類_String類_StringBuffer類_正則表示式_Date類_DateFormat類_Calendar類_基本資料型別包裝類

1.Object類 是Java語言中的根類，即所有類的父類。它中描述的所有方法子類都可以使用。所有類在建立物件的時候，最終找的父類就是Object 方法： equals方法，用於比較兩個物件是否相同，它其實就是使用兩個物件的記憶體地址在比較。Object類中的equals方法內部使用的就

獲得某個資料夾下的符合正則表示式的檔案地址

根據使用者需求列出某個資料夾下所有滿足的檔案地址    思路：      1.獲得使用者需要查詢的資料夾和對檔名稱的需求（正則表示式）          使用

mysql 資料操作 單表查詢 使用正則表示式查詢

      SELECT * FROM employee WHERE name REGEXP '^ale'; SELECT * FROM employee WHERE name REGEXP 'on$'; SELECT * FROM employee WHERE nam

第4章：介紹python物件型別/4.1 python的核心資料型別/4.2 字串/4.2.4 字串格式化、字串編輯HTML或者XML語法、使用正則表示式

字串格式化 %s 方式格式化： >>> "%s,abc,%s" %('123','456') '123,abc,456' {數字}方式格式化： >>> "{0},abc,{1}".format('123','456') '123,a

QT 用正則表示式從tableView中篩選出某一日期範圍內的資料

QDate date1,date2; date1=ui->dateEdit_2->date();//提取開始時間 date2=ui->dateEdit_3->date();//提取結束時間 data_filter->

如何用正則表示式獲得頁面中的指定資料？

我想得到一個table裡的每一行資料，格式如下： <tr> <td align='center' class='orang'>07098</td> <td width='35' align='center' class='yellow'>3<

資料提取——正則表示式的 re 模組

什麼是正則表示式 正則表示式，又稱規則表示式，通常被用來檢索、替換那些符合某個模式(規則)的文字。 正則表示式是對字串操作的一種邏輯公式，就是用事先定義好的一些特定字元、及這些特定字元的組合，組成一個“規則字串”，這個“規則字串”用來表達對字串的一種過濾邏輯。 給定一個正則表示式

Python 利用BeautifulSoup和正則表示式 來爬取旅遊網資料

import re import requests import time from bs4 import BeautifulSoup url = ‘http://www.cntour.cn/’ r = requests.get(url) print(r.encoding,len(r.t

Python 爬蟲 爬取單個基因 表格資料的生物學功能 （urllib+正則表示式）：

Python 爬蟲 爬取單個基因的生物學功能（urllib+正則表示式）： import re import urllib from urllib import request url = 'https://www.ncbi.nlm.nih.gov/gene/?term=FUT1'

Python爬蟲之使用正則表示式抓取資料

目錄 匹配標籤 匹配title標籤 a標籤 table標籤 匹配標籤裡面的屬性 匹配a標籤裡面的URL 匹配img標籤裡的 src 相關文章：Linux中的正則表示式             &nbs

Python中利用正則表示式用逗號分割資料，但是忽略引號中的逗號的方法

一.問題描述： 我在做一個網站搜尋記錄的分割工作，原始資料如下： x= '{"嬌妻有毒路明": "0.013", "嬌妻有毒%2c陸少寵上癮": "0.078",\ "嬌妻有毒老公你放鬆點": "0.021", "嬌妻有毒陸明白芬": "0.011", "嬌妻有毒:陸少,寵上癮": "0.

PHP正則表示式獲取武漢市的實時pm2.5資料並郵件傳送phpmailer

最近讀了PHP與mysql web開發這本書學習PHP，感覺受益匪淺，PHP是由C語言所編寫的，所以C語言的語法在PHP中同樣適用如printf與PHP的echo一樣具有輸出功能，（換行）。學習了PHP語言的正則表示式來抓取網頁內容，又讀到了php的mail函式時想用來發送郵件，但是ma

使用正則表示式和json.loads,將JSON檔案中的資料轉化為pandas.DataFrame

使用正則表示式和json.loads,將JSON檔案中的資料轉化為pandas.DataFrame 說在前面 在使用Scrapy框架（爬蟲框架）爬取網頁資訊時，會定義一個ITEMS，然後通過PIPLINE將資料寫入到JSON檔案中，如果是按行寫入，則最後得到的資料就不是一個標準J