依據課程中講解的如何自定義UDF，進行案例編寫，進行總結步驟，並完成額外需求，具體說明如下：1） 依據課程講解UDF程式設計案例，完成練習，總結開發UDF步驟，程式碼貼圖，

給予註釋，重點在於清晰程式設計思路。2） 完成如下資料欄位中雙引號，自定義UDF，完成程式設計測試。

1. 新建maven專案。
2. 配置pom.xml

<properties>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

<hive.version>0.13.1</hive.version>

<hadoop.version>2.5.0</hadoop.version>

</properties>

<dependencies>

<dependency>

<groupId>jdk.tools</groupId>

<artifactId>jdk.tools</artifactId>

<version>1.7</version>

<scope>system</scope>

<systemPath>${JAVA_HOME}/lib/tools.jar

</dependency>

<!--hadoopClient -->

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</artifactId>

<version>${hadoop.version}</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop

<artifactId>hadoop-hdfs</artifactId>

<version>${hadoop.version}</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>${hadoop.version}</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-hdfs</artifactId>

<version>${hadoop.version}</version>

</dependency>

<!-- Hive Client -->

<dependency>

<groupId>org.apache.hive</groupId>

<artifactId>hive-jdbc</artifactId>

<version>${hive.version}</version>

</dependency>

<dependency>

<groupId>org.apache.hive</groupId>

<artifactId>hive-exec</artifactId>

<version>${hive.version}</version>

</dependency>

</dependencies>

3. 寫udf類

importjava.util.regex.Matcher;

importjava.util.regex.Pattern;

importjava.util.regex.PatternSyntaxException;

importorg.apache.hadoop.hive.ql.exec.UDF;

importorg.apache.hadoop.io.Text;

//UDF是作用於單個數據行，產生一個數據行

//使用者必須要繼承UDF，且必須至少實現一個evalute方法，該方法並不在UDF中

//但是Hive會檢查使用者的UDF是否擁有一個evalute方法

publicclassStrFilterextendsUDF  {

privateTextresult=newText();

publicText evaluate(Text str) {

try{

if(str.toString().indexOf("/")!=-1){

              String  str2   =StringFilter(str.toString());

result.set(str2.substring(str2.indexOf(" ",2),str2.indexOf(" ", 4)).trim());

returnresult;

        }

else{

result.set(StringFilter(str.toString())+":");

returnresult;}

        }catch(Exceptione) {

returnnull;

        }

    }

//過濾特殊字元

publicstatic   String StringFilter(String  str)  throws   PatternSyntaxException   {  

//String regEx="[`[email protected]#$%^&*()+=|{}':;',\\[\\].<>/?~！＠￥%……&*（）——+|{}【】＃‘；：”“’。，、？]";

         StringregEx="[\"]";

         Pattern  p   =   Pattern.compile(regEx);  

         Matcher  m   =  p.matcher(str);  

returnm.replaceAll("").trim();  

  }  

}

4. 建立表並匯入

CREATE TABLE logs(

host STRING,

identity STRING,

time STRING,

request STRING,

status STRING)

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'

WITH SERDEPROPERTIES (

"input.regex" = "(\".*?\") (\".*?\") (\".*?\") (\".*?\") (\".*?\")",

"output.format.string" = "%1$s %2$s %3$s %4$s %5$s")

STORED AS TEXTFILE; 

匯入

load data local inpath '/home/access.log' into table logs;

select host,request  from logs limit 100;

add jar /home/strsfilter.jar; 

create temporary function strfilter as 'com.hyhc.hiveudf.StrFilter';

檢視結果