2. 程式人生 > >Scala詞法文法解析器　（一）解析SparkSQL的BNF文法

Scala詞法文法解析器　（一）解析SparkSQL的BNF文法

阿新 • • 發佈：2019-05-03
ram ams title blog art ron 通過 都是 res

平臺公式及翻譯後的SparkSQL

平臺公式的樣子如下所示：

if (XX1_m001[D003]="邢おb7骯α?薇" || XX1_m001[H003]<"2") && XX1_m001[D005]!="wed" thenXX1_m001[H022,COUNT]

這裏面字段值"邢おb7骯α?薇"為這個的目的是為了測試各種字符集是否都能匹配滿足。
那麽對應的SparkSQL應該是這個樣子的,由於是使用的Hive on Spark，因而長得跟Oracle的SQL語句差不多：

SELECT COUNT(H022) FROM XX1_m001 WHERE (XX1_m001.D003=‘邢おb7骯α?薇‘ OR XX1_m001.H003<‘2‘) ANDXX1_m001.D005<‘wed‘

總體而言比較簡單，因為我只是想在這裏做一個Demo。

平臺公式的EBNF範式及詞法解析設計

expr-condition ::= tableName "[" valueName "]" comparator Condition
expr-front ::= expr-condition (("&&"|"||")expr-front)*
expr-back ::= tableName "[" valueName "," operator "]"
expr ::= "if" expr-front "then" expr-back

其中詞法定義如下

operator => [SUM,COUNT]
tableName,valueName =>ident  #ident為關鍵字
comparator => ["=",">=","<=",">","<","!="]
Condition => stringLit  #stringLit為字符串常量


使用Scala基於詞法單元的解析器解析上述EBNF文法

Scala基於詞法單元的解析器是需要繼承StandardTokenParsers這個類的，該類提供了很方便的解析函數，以及詞法集合。
我們可以通過使用lexical.delimiters列表來存放在文法翻譯器執行過程中遇到的分隔符，使用lexical.reserved列表來存放執行過程中的關鍵字。
比如，我們參照平臺公式，看到"=",">=","<=",">","<","!=","&&","||","[","]",",","(",")"這些都是分隔符，其實我們也可以把"=",">=","<=",">","<","!=","&&","||"

當做是關鍵字，但是我習慣上將帶有英文字母的單詞作為關鍵字處理。因而，這裏的關鍵字集合便是"if","then","SUM","COUNT"這些。
表現在代碼中是醬紫的：

lexical.delimiters += ("=",">=","<=",">","<","!=","&&","||","[","]",",","(",")")
lexical.reserved   += ("if","then","SUM","COUNT")

是不是so easy~。
我們再來看一下如何使用基於詞法單元的解析器解析前面我們設計的EBNF文法呢。我在這裏先上代碼：

class ExprParsre extends StandardTokenParsers{
  lexical.delimiters += ("=",">=","<=",">","<","!=","&&","||","[","]",",","(",")")
  lexical.reserved   += ("if","then","SUM","COUNT")

  def expr: Parser[String] = "if" ~ expr_front ~ "then" ~ expr_back ^^{
    case "if" ~ exp1 ~ "then" ~ exp2 => exp2 + " WHERE " +exp1
  }

  def expr_priority: Parser[String] = opt("(") ~ expr_condition ~ opt(")") ^^{
    case Some("(") ~ conditions ~ Some(")") => "(" + conditions +")"
    case Some("(") ~ conditions ~ None => "(" + conditions
    case None ~ conditions ~ Some(")") => conditions +")"
    case None ~ conditions ~ None => conditions
  }

  def expr_condition: Parser[String] = ident ~ "[" ~ ident ~ "]" ~ ("="|">="|"<="|">"|"<"|"!=") ~ stringLit ^^{
    case ident1~"["~ident2~"]"~"="~stringList => ident1 + "." + ident2 +"=‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~">="~stringList => ident1 + "." + ident2 +">=‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~"<="~stringList => ident1 + "." + ident2 +"<=‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~">"~stringList => ident1 + "." + ident2 +">‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~"<"~stringList => ident1 + "." + ident2 +"<‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~"!="~stringList => ident1 + "." + ident2 +"!=‘" + stringList +"‘"
  }
  def comparator: Parser[String] = ("&&"|"||") ^^{
    case "&&" => " AND "
    case "||" => " OR "
  }
  def expr_front: Parser[String] = expr_priority ~ rep(comparator ~ expr_priority) ^^{
    case exp1 ~ exp2  => exp1 +  exp2.map(x =>{x._1 + " " + x._2}).mkString(" ")  
  }
  def expr_back: Parser[String] = ident ~ "[" ~ ident ~ "," ~ ("SUM"|"COUNT") ~ "]" ^^ {
    case ident1~"["~ident2~","~"COUNT"~"]" => "SELECT COUNT("+ ident2.toString() +") FROM " + ident1.toString()
    case ident1~"["~ident2~","~"SUM"~"]" => "SELECT SUM("+ ident2.toString() +") FROM " + ident1.toString()
  }

  def parserAll[T]( p : Parser[T], input :String) = {
    phrase(p)( new lexical.Scanner(input))
  }
}

另參考:

平臺公式的樣子如下所示：

if (XX1_m001[D003]="邢おb7骯α?薇" || XX1_m001[H003]<"2") && XX1_m001[D005]!="wed" thenXX1_m001[H022,COUNT]

這裏面字段值"邢おb7骯α?薇"為這個的目的是為了測試各種字符集是否都能匹配滿足。
那麽對應的SparkSQL應該是這個樣子的,由於是使用的Hive on Spark，因而長得跟Oracle的SQL語句差不多：

SELECT COUNT(H022) FROM XX1_m001 WHERE (XX1_m001.D003=‘邢おb7骯α?薇‘ OR XX1_m001.H003<‘2‘) ANDXX1_m001.D005<‘wed‘

總體而言比較簡單，因為我只是想在這裏做一個Demo。

平臺公式的EBNF範式及詞法解析設計

expr-condition ::= tableName "[" valueName "]" comparator Condition
expr-front ::= expr-condition (("&&"|"||")expr-front)*
expr-back ::= tableName "[" valueName "," operator "]"
expr ::= "if" expr-front "then" expr-back

其中詞法定義如下

operator => [SUM,COUNT]
tableName,valueName =>ident  #ident為關鍵字
comparator => ["=",">=","<=",">","<","!="]
Condition => stringLit  #stringLit為字符串常量

使用Scala基於詞法單元的解析器解析上述EBNF文法

Scala基於詞法單元的解析器是需要繼承StandardTokenParsers這個類的，該類提供了很方便的解析函數，以及詞法集合。
我們可以通過使用lexical.delimiters列表來存放在文法翻譯器執行過程中遇到的分隔符，使用lexical.reserved列表來存放執行過程中的關鍵字。
比如，我們參照平臺公式，看到"=",">=","<=",">","<","!=","&&","||","[","]",",","(",")"這些都是分隔符，其實我們也可以把"=",">=","<=",">","<","!=","&&","||"當做是關鍵字，但是我習慣上將帶有英文字母的單詞作為關鍵字處理。因而，這裏的關鍵字集合便是"if","then","SUM","COUNT"這些。
表現在代碼中是醬紫的：

lexical.delimiters += ("=",">=","<=",">","<","!=","&&","||","[","]",",","(",")")
lexical.reserved   += ("if","then","SUM","COUNT")

是不是so easy~。
我們再來看一下如何使用基於詞法單元的解析器解析前面我們設計的EBNF文法呢。我在這裏先上代碼：

class ExprParsre extends StandardTokenParsers{
  lexical.delimiters += ("=",">=","<=",">","<","!=","&&","||","[","]",",","(",")")
  lexical.reserved   += ("if","then","SUM","COUNT")

  def expr: Parser[String] = "if" ~ expr_front ~ "then" ~ expr_back ^^{
    case "if" ~ exp1 ~ "then" ~ exp2 => exp2 + " WHERE " +exp1
  }

  def expr_priority: Parser[String] = opt("(") ~ expr_condition ~ opt(")") ^^{
    case Some("(") ~ conditions ~ Some(")") => "(" + conditions +")"
    case Some("(") ~ conditions ~ None => "(" + conditions
    case None ~ conditions ~ Some(")") => conditions +")"
    case None ~ conditions ~ None => conditions
  }

  def expr_condition: Parser[String] = ident ~ "[" ~ ident ~ "]" ~ ("="|">="|"<="|">"|"<"|"!=") ~ stringLit ^^{
    case ident1~"["~ident2~"]"~"="~stringList => ident1 + "." + ident2 +"=‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~">="~stringList => ident1 + "." + ident2 +">=‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~"<="~stringList => ident1 + "." + ident2 +"<=‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~">"~stringList => ident1 + "." + ident2 +">‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~"<"~stringList => ident1 + "." + ident2 +"<‘" + stringList +"‘"
    case ident1~"["~ident2~"]"~"!="~stringList => ident1 + "." + ident2 +"!=‘" + stringList +"‘"
  }
  def comparator: Parser[String] = ("&&"|"||") ^^{
    case "&&" => " AND "
    case "||" => " OR "
  }
  def expr_front: Parser[String] = expr_priority ~ rep(comparator ~ expr_priority) ^^{
    case exp1 ~ exp2  => exp1 +  exp2.map(x =>{x._1 + " " + x._2}).mkString(" ")  
  }
  def expr_back: Parser[String] = ident ~ "[" ~ ident ~ "," ~ ("SUM"|"COUNT") ~ "]" ^^ {
    case ident1~"["~ident2~","~"COUNT"~"]" => "SELECT COUNT("+ ident2.toString() +") FROM " + ident1.toString()
    case ident1~"["~ident2~","~"SUM"~"]" => "SELECT SUM("+ ident2.toString() +") FROM " + ident1.toString()
  }

  def parserAll[T]( p : Parser[T], input :String) = {
    phrase(p)( new lexical.Scanner(input))
  }
}

另參考:

Scala詞法文法解析器　（二）分析C++類的聲明

Scala詞法文法解析器　（一）解析SparkSQL的BNF文法

相關推薦

Scala詞法文法解析器　（一）解析SparkSQL的BNF文法

ram ams title blog art ron 通過 都是 res 平臺公式及翻譯後的SparkSQL 平臺公式的樣子如下所示： if (XX1_m001[D003]="邢おb7骯α?薇" || XX1_m001[H003]<"2") &

Spring Cloud---Zuul閘道器篇（ 一）-----Zuul請求流程解析（簡化）

前述：Spring Zuul是Spring微服務的閘道器，作為微服務的入口，用來統一管理請求。Zuul不是把閘道器的所有事情都做了，而是暴露了當前請求的整個過程生命週期的處理。實際閘道器的實現邏輯還是需要我們自己處理，在解析完Zuul後我會提供一個閘道器限流的方案例項，並對其做擴充套件，以為

NIO原理剖析與Netty初步----淺談高性能服務器開發（一）

返回 創建 基於 register 訪問 io操作 nbsp info class 除特別註明外，本站所有文章均為原創，轉載請註明地址 在博主不長的工作經歷中，NIO用的並不多，由於使用原生的Java NIO編程的復雜性，大多數時候我們會選擇Netty，m

python叠代器生成器（一）

一次 for -1 他會 內部 字符串 運行 裏的 好處 　　for循環可以用於python中任何序列類型，包括序列、元組以及字符串。例如： >>> for x in [1,2,3,4]: print(x * 2,end=‘‘)...2468 >&g

高性能服務器架構（一）：緩沖策略

lin 特點 領域 思路 不能 查表 edi 操作 帶寬 原文鏈接：https://mp.weixin.qq.com/s?__biz=MzA5ODExMTkwMA==&mid=402675187&idx=1&sn=d240f6d1430b86bc00

Linux服務器學習（一）

-1 修改 感覺 img size 地址 mage 第一次 spa 一、首先連接服務器 　　下載一個windows下連接linux的ssh工具，我這裏用的putty。一次填入HostName（主機名，可以是服務器域名也可以是對應的ip）、Port（端口號默認為22）、Co

Skynet服務器框架（一） Linux下的安裝和啟動

進行 harbor 的人 新源 中心 -a 編譯 加載模塊 問題 根據雲風博客的描述，Skynet 的核心功能就是解決一個問題： 把一個符合規範的 C 模塊，從 動態庫（so文件）中啟動起來，綁定一個永不重復（即使模塊退出）的數字id做為其 handle。模塊 被稱為

Android系統啟動流程（一）解析init進程啟動過程

option 寫入 android change failed miss 通知 target sna 前言 作為“Android框架層”這個大系列中的第一個系列，我們首先要了解的是Android系統啟動流程，在這個流程中會涉及到很多重要的知識點，這個系列我們就來一一講解它們

Java源碼解析——集合框架（一）——ArrayList

cloneabl trac RR ... 需要 pub 復雜 每次 靈活 ArrayList源碼分析 ArrayList就是動態數組，是Array的復雜版本，它提供了動態的增加和減少元素、靈活的設置數組的大小。 一、類聲明 public class ArrayLi

node+express+socket.io+mysql=通訊服務器搭建（一）

釋放 get future 連接mysql add .com 成功 query tp服務器 首發github/blog 歡迎大家評論給星 安裝 首先假定你已經安裝了 Node.js，接下來為你的應用創建一個目錄，然後安裝express-generator應用骨架 $ mkd

SharePoint 2016 服務器部署（一）AD準備&服務器初始化

nag sha vpd 51cto CA AD 部署 cto type 將需要部署SQL Server 服務器進行初始化（更改計算機名稱、IP地址、更新Windows 補丁、關閉防火墻）。 在AD服務器上打開運行界面，確定 選擇新建用戶，輸入SharePoint 管理帳戶

linux學習之多高並發服務器篇（一）

多線程 同步 https 進程調度 creat server side lis logs 高並發服務器 高並發服務器 並發服務器開發 1.多進程並發服務器 　　使用多進程並發服務器時要考慮以下幾點： 父最大文件描述個數(父進程中需要close關閉accept返回的新文件

設計模式---領域規則模式之解析器模式（Interpreter）

語法規則 規則 urn air 業務 變化 img bsp span 前提：領域規則模式 在特定領域內，某些變化雖然頻繁，但可以抽象為某種規則。這時候，結合特定領域，將問題抽象為語法規則，從而給出該領域下的一般性解決方案。 典型模式 解析器模式:Inter

Java物件學習之建立物件——使用靜態工廠方法代替構造器優點（一）

      最近學習Android知識，發現Java好多的基礎知識運用的真的很一般，所以決定在重新梳理一下，現在Kotlin也來了，在Android之路上，留給我看Java的時間不多了。       靜態我們就來簡單介紹一下，使用靜態工

自制JSON解析庫C++（一）--對JavaScript物件的理解

JSON只有兩種結構：鍵值對和陣列；它們之間可以相互巢狀，形成樹形結構，葉子節點有字串、數字、false、true、null。     在這之前，首先談談對JavaScript核心思想的理解：   在JS的世界裡，沒有類，只有物件，物件怎麼來，通

ItemDecoration深入解析與實戰（一）

一 概述 ItemDecoration 是 RecyclerView 中的一個抽象靜態內部類。 An ItemDecoration allows the application to add a special drawing and layout offset to specific item v

【Spark核心原始碼】解析“spark-shell”（一）

目錄 指令碼分析 遠端監控 之前使用spark-shell，編寫了一個word count程程式【初探Spark核心】Word Count程式的簡單分析 ，spark-shell究竟都為我們做了些什麼，下面就好好分析一下。 指令碼分析 當我們輸入指令“spark-shell”

scala的函數語言程式設計（一）

目錄 引言 將函式作為值 匿名函式 函式的高階用法 將函式作為引數 將函式作為返回值（很重要） 引言 函式是scala中最重要的部分，有人願意稱“函式式scala中的一等公民”。也就是因為函式才使得scala更加簡潔、優雅、又耐人尋味，總之，函數語言程式設計在sc

ItemDecoration深入解析與實戰（一）——原始碼分析

一 概述 ItemDecoration 是 RecyclerView 中的一個抽象靜態內部類。 An ItemDecoration allows the application to add a special drawing and layout offset to specific item v

mybatis 解析配置檔案（一）之XML的DOM解析方式

簡介 在之前的文章《mybatis 初步使用（IDEA的Maven專案, 超詳細）》中， 講解了mybatis的初步使用， 並總結了以下mybatis的執行流程： 通過 Resources 工具類讀取 mybatis-config.xml， 存入 Reader； SqlSessionFactoryBuil