2. 程式人生 > >hive中判斷A表時間欄位是否在B表的兩個時間欄位中及求訂單中間休息時間

hive中判斷A表時間欄位是否在B表的兩個時間欄位中及求訂單中間休息時間

阿新 • • 發佈：2018-12-13

問題：在hive中，A表中有一個時間的欄位，型別位string，格式為2018-12-0 13:34:12；在B表中有欄位start_time和end_time，型別為string，格式為2018-12-06 13:34:12，先需要將兩表按id關聯後新增一個標記欄位（當A表的時間在B表的start_time和end_time之間就標記為1，不在區間內就標記為0），B表中還有一個訂單id，string型別

解決方法：使用join和case when then和lead視窗函式
先在hive中建立兩張表並插入模擬資料：

-- 建立表
create table A (
plate_num string,
 

time string
);
create table B (
order_id string,
plate_num string,
start_time string,
end_time string
);

-- 插入模擬資料
insert into A values('瀘A88888', '2018-04-02 09:34:12');
insert into A values('瀘A66666', '2018-04-02 12:34:12');
insert into A values('瀘A00000', '2018-04-02 10:34:12');
insert into A values('瀘A22222',
 
 '2018-04-02 15:34:12');
insert into B values('201812060001', '瀘A88888', '2018-04-02 09:00:12', '2018-04-02 10:00:12');
insert into B values('201812060002', '瀘A66666', '2018-04-02 09:10:12', '2018-04-02 10:00:12');
insert into B values('201812060003', '瀘A99999', '2018-04-02 09:15:12', '2018-04-02 09:55:12');
insert into B values('201812060004', '瀘A88888'
 
, '2018-04-02 10:05:12', '2018-04-02 10:30:12');
insert into B values('201812060005', '瀘A22222', '2018-04-02 10:10:12', '2018-04-02 10:44:12');
insert into B values('201812060006', '瀘A99999', '2018-04-02 10:15:12', '2018-04-02 10:34:12');
insert into B values('201812060007', '瀘A66666', '2018-04-02 10:20:12', '2018-04-02 10:30:12');
insert into B values('201812060008', '瀘A66666', '2018-04-02 10:35:12', '2018-04-02 10:40:12');
insert into B values('201812060009', '瀘A00000', '2018-04-02 10:35:12', '2018-04-02 10:45:12');
insert into B values('201812060010', '瀘A99999', '2018-04-02 10:36:12', '2018-04-02 10:45:12');
insert into B values('201812060011', '瀘A22222', '2018-04-02 10:50:12', '2018-04-02 11:20:12');

使用case when then 求表A的時間是否在表B的開始和結束時間之間，在標記為1，不在標記為0

-- 查詢結果
-- 方法一：不將時間欄位轉換為時間戳
select 
A.plate_num plate_num, 
A.time time, 
B.start_time start_time, 
B.end_time end_time,
case when unix_timestamp(A.time) between unix_timestamp(B.start_time) and unix_timestamp(B.end_time) then 1 else 0 end sign
from 
A
join
B
on
A.plate_num = B.plate_num;

-- 結果：
OK
瀘A88888	2018-04-02 09:34:12	2018-04-02 09:00:12	2018-04-02 10:00:12	1
瀘A22222	2018-04-02 15:34:12	2018-04-02 10:50:12	2018-04-02 11:20:12	0
瀘A88888	2018-04-02 09:34:12	2018-04-02 10:05:12	2018-04-02 10:30:12	0
瀘A22222	2018-04-02 15:34:12	2018-04-02 10:10:12	2018-04-02 10:44:12	0
瀘A00000	2018-04-02 10:34:12	2018-04-02 10:35:12	2018-04-02 10:45:12	0
瀘A66666	2018-04-02 12:34:12	2018-04-02 09:10:12	2018-04-02 10:00:12	0
瀘A66666	2018-04-02 12:34:12	2018-04-02 10:20:12	2018-04-02 10:30:12	0
瀘A66666	2018-04-02 12:34:12	2018-04-02 10:35:12	2018-04-02 10:40:12	0
Time taken: 9.907 seconds, Fetched: 8 row(s)


-- 方法二：將時間欄位轉換為時間戳
select 
A.plate_num plate_num, 
A.time time, 
B.start_time start_time, 
B.end_time end_time,
case when A.time between B.start_time and B.end_time then 1 else 0 end sign
from 
A
join
B
on
A.plate_num = B.plate_num;

-- 結果：  
OK
瀘A88888	2018-04-02 09:34:12	2018-04-02 09:00:12	2018-04-02 10:00:12	1
瀘A22222	2018-04-02 15:34:12	2018-04-02 10:50:12	2018-04-02 11:20:12	0
瀘A88888	2018-04-02 09:34:12	2018-04-02 10:05:12	2018-04-02 10:30:12	0
瀘A22222	2018-04-02 15:34:12	2018-04-02 10:10:12	2018-04-02 10:44:12	0
瀘A00000	2018-04-02 10:34:12	2018-04-02 10:35:12	2018-04-02 10:45:12	0
瀘A66666	2018-04-02 12:34:12	2018-04-02 09:10:12	2018-04-02 10:00:12	0
瀘A66666	2018-04-02 12:34:12	2018-04-02 10:20:12	2018-04-02 10:30:12	0
瀘A66666	2018-04-02 12:34:12	2018-04-02 10:35:12	2018-04-02 10:40:12	0
Time taken: 0.985 seconds, Fetched: 8 row(s)

求訂單中間的休息時間，使用lead的視窗函式

select 
t.order_id, t.plate_num, t.start_time, t.end_time,
(unix_timestamp(t.start_time1) - unix_timestamp(t.end_time)) as interval_time
from(
select
*,
-- 根據車牌號分割槽，開始時間升序取後一個訂單的開始時間
lead(start_time, 1, 0) over(partition by plate_num order by start_time) start_time1
from b) t;

-- 結果
OK
201812060009	瀘A00000	2018-04-02 10:35:12	2018-04-02 10:45:12	NULL
201812060005	瀘A22222	2018-04-02 10:10:12	2018-04-02 10:44:12	360
201812060011	瀘A22222	2018-04-02 10:50:12	2018-04-02 11:20:12	NULL
201812060002	瀘A66666	2018-04-02 09:10:12	2018-04-02 10:00:12	1200
201812060007	瀘A66666	2018-04-02 10:20:12	2018-04-02 10:30:12	300
201812060008	瀘A66666	2018-04-02 10:35:12	2018-04-02 10:40:12	NULL
201812060001	瀘A88888	2018-04-02 09:00:12	2018-04-02 10:00:12	300
201812060004	瀘A88888	2018-04-02 10:05:12	2018-04-02 10:30:12	NULL
201812060003	瀘A99999	2018-04-02 09:15:12	2018-04-02 09:55:12	1200
201812060006	瀘A99999	2018-04-02 10:15:12	2018-04-02 10:34:12	120
201812060010	瀘A99999	2018-04-02 10:36:12	2018-04-02 10:45:12	NULL
Time taken: 9.289 seconds, Fetched: 11 row(s)

相關推薦

hive中判斷A表時間欄位是否在B表的兩個時間欄位中及求訂單中間休息時間

問題：在hive中，A表中有一個時間的欄位，型別位string，格式為2018-12-0 13:34:12；在B表中有欄位start_time和end_time，型別為string，格式為2018-12-06 13:34:12，先需要將兩表按id關聯後新增一個標記欄位（當A表的時間在B表的s

mysql----查詢到A表的欄位插入B表

insert into 表名(欄位1,欄位2,欄位3) select 欄位1,欄位2,欄位3from 表名where … insert into user(id,username) select id,username from t_user where ...

設A和B是兩個按元素值遞增有序的單鏈表，寫一算法將A和B歸並為按按元素值遞減有序的單鏈表C，試分析算法的時間復雜度。（利用上篇帶有頭結點的線性鏈表操作）

遞增 else 長度 初始化 get b- sizeof int insert #include <stdio.h>#include <malloc.h>typedef int DataType;#include "LinList.h" void

mysql中兩個int欄位建立聯合索引，沒有用到索引

這兩天有一個任務表 t_task_list ，搜尋條件下面都有，相關的索引也有，但就是用不到索引，應該是跟資料分佈有關，所以對索引做了調整。 最重要的不是對索引做了調整，而是，不要以為建了索引就一定能用到，還是根據資料的分佈情況來決定的，以後多注意吧，有慢查詢，一定看sql，看expl

【SQL Server高可用性】資料庫複製：SQL Server 2008R2中通過資料庫複製，把A表的資料複製到B表

經常在論壇中看到有人問資料同步的技術，如果只是同步少量的表，那麼可以考慮使用連結伺服器+觸發器，來實現資料同步，但當要同步的資料表比較多，那麼可以考慮用資料庫複製技術，來實現資料的同步。 一、使用場

Mysql日期差函式，Mysql選擇兩個日期欄位相差大於或小於一定時間

 SELECT*fromtablewhereTIMESTAMPDIFF(type,pretime,latertime)>100 TIMESTAMPDIFF函式，需要三個引數，type是比較的

JavaSE8基礎 String startsWith 判斷A字符串是否以B字符串作為開頭

ips log ack with 源碼 cli gen start windows os ：windows7 x64 jdk：jdk-8u131-windows-x64 ide：Eclipse Oxygen Release (4.7.0)

java判斷A字符串是否包含B字符串

index sys indexof str 不包含 spa div string bsp public static void main(String[] args) { 　　String str = "ABC_001"; 　　if (str.indexOf("ABC")

Js:消息彈出框、獲取時間區間、時間格式、easyui datebox 自定義校驗、表單數據轉化json、控制兩個日期不能只填一個

gets pri ESS 大於等於 轉化 gpo 現在 undefine parent (function ($) { $.messageBox = function (message) { $.messager.show({

兩個不同使用者資料庫中的表是否可以建立外來鍵關係 oracle

許可權問題 --表授權給另一個使用者 grant   references   on   ERP.customer_info   to   saas; --新增外來鍵約束 alter table S

兩個相同欄位list整合成一個list

        List<Object> list_a = ajblService.selectGrpm(paraMap);          List<Object> list_b = ajblService.exceptGrpm(paraMap

《程式設計之美 》2.1 位運算實現—交換兩個整數、求和、整數的二進位制表達中1的個數

序 能否利用位運算高效的實現部分演算法是面試中的常見考題，現在講該部分總結如下。 一、不用額外變數交換兩個整數的值 void exchange(int &a , int &b) {

mysql 查詢根據兩個或兩個以上欄位排序

以jibingName=腹痛 欄位為例   我們需要按照 jibingName  和 fenxing_id兩個欄位來進行排序                  -------------------

工具類：關於如何找到兩個List數組中不同的數據的算法！

開發人員 uri print clas 數據結構 blank _id integer public 找到兩個List數組中不同的數據的算法！ import java.util.ArrayList;import java.util.HashMap;import java.ut

單鏈表查找最大值、兩個遞增的鏈表合並並且去重

lin esp new ace ext color 查找 class AI 單鏈表查找最大值 代碼： 1 #include<iostream> 2 #include<bits/stdc++.h> 3 using namespace std;

HTML代碼中在兩個匿名函數中使用同名變量出現bug而引起的變量作用域的思考

資源管理 normal col gin image pac cor align 程序 　　在學習HTML的時候，為了方便地對同一個css樣式的不同值的效果進行對比，我做成了下面這個樣子。 代碼也是很典型的用於展示的格式（p元素的內容隨便寫的）： 1 <head&

leetcode，兩個排序陣列的中位數

先上題目描述： 給定兩個大小為 m 和 n 的有序陣列 nums1 和 nums2 。 請找出這兩個有序陣列的中位數。要求演算法的時間複雜度為 O(log (m+n)) 。 你可以假設 nums1 和 nums2 

兩個排序陣列的中位數(歸併)

給定兩個大小為 m 和 n 的有序陣列 nums1 和 nums2 。 請找出這兩個有序陣列的中位數。要求演算法的時間複雜度為 O(log (m+n)) 。 你可以假設 nums1 和 nums2 不同時為空。 示例 1: nums1 = [1, 3] nums2 = [2] 中位數是 2

[LeetCode]兩個排序陣列的中位數

思路 //使用TreeSet進行兩個陣列間的排序，但由於Set容器會把重複元素去除掉，所以我們自定義一個能保留重複元素的Comparator再傳入TreeSet，從而得到合併排列後含重的TreeSet，即可使用簡單的計算得到中值，以下是具體實現 重寫TreeSet的Comparato

LeetCode4兩個排序陣列的中位數

這一題我今天的做的時候覺得再簡單不過了，不知道為什麼等級是困難級別的，真的是覺得沒有什麼難點的 4 兩個排序陣列的中位數 給定兩個大小為 m 和 n 的有序陣列 nums1 和 nums2 。 請找出這兩個有序陣列的中位數。要求演算法的時間複雜度為