hive行轉多列LATERAL VIEW explode

阿新 • • 發佈：2018-12-01

lateral view用於和split、explode等UDTF一起使用的，能將一行資料拆分成多行資料，在此基礎上可以對拆分的資料進行聚合，lateral view首先為原始表的每行呼叫UDTF，UDTF會把一行拆分成一行或者多行，lateral view在把結果組合，產生一個支援別名表的虛擬表.

資料：以製表符分隔
movie	category
《疑犯追蹤》	懸疑,動作,科幻,劇情
《Lie to me》	懸疑,警匪,動作,心理,劇情
《戰狼 2》	戰爭,動作,災難

在hive中建立表及匯入資料

create table movie_info(
 movie string,
category array<string>)
row format delimited fields terminated by "\t" collection items terminated by ",";

//匯入資料
load data local inpath "movie_info.tsv" into table movie_info;

將電影分類中的陣列資料展開

select movie, category_name
from  movie_info lateral view explode(category) table_tmp as category_name;

結果如下:

《疑犯追蹤》	懸疑
《疑犯追蹤》	動作
《疑犯追蹤》	科幻
《疑犯追蹤》	劇情
《Lie to me》	懸疑
《Lie to me》	警匪
《Lie to me》	動作
《Lie to me》	心理
《Lie to me》	劇情
《戰狼 2》	戰爭
《戰狼 2》	動作
《戰狼 2》	災難

hive行轉多列LATERAL VIEW explode

lateral view用於和split、explode等UDTF一起使用的，能將一行資料拆分成多行資料，在此基礎上可以對拆分的資料進行聚合，lateral view首先為原始表的每行呼叫UDTF，UDTF會把一行拆分成一行或者多行，lateral view在把結果組合，產生一個支援別名表的

SQL多行轉多列

表內容：姓名課程分數張三語文 74張三數學 83張三物理 93張三德語 null李四語文 74李四數學 84李四物理 94李四英語 80想變成(得到如下結果)：姓名語文數學物理英語德語---- ---- ---- ----李四 74

行列轉換之——多行轉多列，多列轉多行實踐版

多行 max 演示 spa info 思想 .com 要求列轉行行列轉換之——多行轉多列，多列轉多行實踐版 1、多列轉行（核心思想，利用row_number() over() 來構造列傳行之後的唯一列，來行轉列）　　要求：　　　實操演示： select

多行轉多列，行數和列數不確定

原始需求，有2表如下 SQL> select * from mas; TO TOOLNAME -- ---------- 01 包裹 02 信函 03 掛號信 04 中國速遞 05 EMS 06 DHL 6 rows selected. SQL> select * from putdt; SEN

mysql 多行轉多列

開發十年，就只剩下這套架構體系了！ >>>

hive函式--行轉列union all &一行拆多行lateral view explode&多行轉一行group_concat()

工作幾年，越來越發現行列轉換非常重要，為了和上篇文章（hive函式--排序row_number,rank over）保持一致，這次繼續用學生成績的例子吧。1.行轉列 union all：表result：student_id,class,score學生的語數外物化都在一張表裡，

oracle 多行轉一列，一列轉多行

select t.rank, t.Name from t_menu_item t; 10 CLARK 10 KING 10 MILLER 20 ADAMS 20 FORD 20 JONES 20 SCOTT 2

Hive行轉列，列轉行

下面舉兩個例子：例一: 行轉列資料： a b 1 a c 2 a b 3 c d 4 c d 5 c d 6 轉化為： a b 1,2,3 c d 4,5,6 創表 Hive>create table test1 (col1 String,col2 Strin

hive find_in_set,get_json_object,lateral view explode函式

今天寫幾個hive函式， find_in_set,get_json_object,lateral view explode，方便以後查詢話不多說開幹。find_in_set函式說兩點1.使用方法 SELECT FIND_IN_SET('b','a,b,c,d');

hsql中split函式，lateral view explode的常規用法

1.split（）函式 hsql中split（item,'分隔符'） 2.lateral view explode將複雜結構一行拆成多行，實現行轉列，如 id name 1 hell，

單純的將資料行轉成列怎麼實現（急急急）

已解決一個web登入系統的如何訪問資料庫 innobackupex備份mysql速度如何? 求助一個mysql儲存過程的問題51 已解決mysqlcluster關於管理節點的問題匭鼐uth茸陀儼http://baoba

mysql多行變多列（衍生形式）

我的這篇文章整理了mysql多行變多列的2種常見形式：http://blog.csdn.net/rainyspring4540/article/details/50231435 這裡就不贅述了，下面說下它更復雜的衍生形式：表結構： create table studen

004_008 Python 行轉化成列，列轉化成行

程式碼如下： #encoding=utf-8 print '中國' #二維陣列變換行轉化成列，列轉化成行 lista=[[1,2,3],[4,5,6],[7,8,9],[10,11,12]] #使用列表推導 listb=[[r[col] for r in lista

Pivot 和 Unpivot 轉多列幷包含多個名稱

Pivot 1、準備資料 create table t_demo(id int,name varchar(20),nums int); ---- 建立表 insert into t_demo values(1, '蘋果', 1000); insert into

mysql 字串轉多列資料

SET QUOTED_IDENTIFIER ON SET ANSI_NULLS ON GO CREATE FUNCTION [dbo].[zoe_split] ( @c VARCHAR(8000) , @split VARCHAR(2) ) RETURNS @t

Hive裡實現行資料的拆分、一行轉多行、行轉列、explode使用

在做資料轉換、清洗的過程中，經常會對行進行拆分、一行資料拆分為多行資料，下面是簡單的例子: 如圖表裡有如下資料：最終要得到結果如下：先用split進行分割得到一個數組，在用explode拆分陣列。LATERAL VIEW explode(split(b,',')

hive中同列多行資料組合的方法以及array to string要點(行轉列)

1. 同列多行資料組合成一個欄位cell的方法， top N 問題的hive方案如下： hive 列轉行 to json與to array list set等複雜結構，hive topN的提取的視窗統計方法 select ll,

Databricks 第11篇：Spark SQL 查詢（行轉列、列轉行、Lateral View、排序）

本文分享在Azure Databricks中如何實現行轉列和列轉行，並介紹對查詢的結果進行排序的各種方式。一，行轉列在分組中，把每個分組中的某一列的資料連線在一起： collect_list：把一個分組中的列合成為陣列，資料不去重，格式是['a','a','b'] collect_set：把一個分組中的

轉換一個字段中含有多個另外一張表的id | | 行轉列

ret .net sub 模式 end posit tex 匹配 replace 1、Oracle Function --入參：表 id /* cxcyxm02 ：操作表，含有一個存儲另一張表（xs0101）多個主鍵id的字段　ids ：操作表的主鍵 i

hive udtf 輸入一列返回多行多列

create json clu spark beeline tin tca org.json 1.0 之前說到了hive udf，見https://blog.csdn.net/liu82327114/article/details/80670415 UDTF(User-De

hive行轉多列LATERAL VIEW explode

相關推薦