用HiveSQL計算連續天數問題的方法是什么

這期內容當中小編將會給大家帶來有關用HiveSQL計算連續天數問題的方法是什么，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

在日常工作中，可能經常會接到業務方類似這樣的需求：

統計今年每個用戶最長連續簽到的天數；

統計最近一個月連續有回帖超過5天的話題；

統計本季度中連續3天以上單日銷量超過100的商品。

這種“連續天數”問題看似簡單，但實際上對思維能力和編寫復雜SQL語句的能力要求比較高。下面以我們曾經接到的一個需求為例，提出解決辦法。

create table user_calendar_record (  user_id bigint comment '用戶ID',  event_type int comment '記錄類型',  event_data string comment '記錄數據',  upload_time string comment '上傳時間'  del_status int comment '刪除狀態') partitioned by (  pt_date string comment '記錄（分區）日期');

現要找出4月間，每個用戶類型為24的記錄項。如果有用戶連續一周及以上記錄該項，說明TA對某方面特別重視，應當重點運營。

編寫SQL的思路如下。為了避免過多嵌套，所有步驟中都先用子表表示，最后再合成完成的語句。

1. 以用戶ID分組，以記錄日期為排序規則，添加一列排名。由于用戶每天可以記錄不止一次，所以要采用dense_rank()函數，不能用rank()或row_number()。

(  select user_id,pt_date,  dense_rank() over(partition by user_id order by pt_date) as date_rank  from user_calendar_record  where pt_date >= 20190401 and pt_date <= 20190430  and event_type = 24 and del_status = 0) t_a;

2. 在以上添加了排名的表中，用記錄日期減去排名列代表的天數，得到另一個日期。該日期實際上就是一個連續日期序列的第一天日期減去一天（讀起來有點拗口，但很容易理解），用它來做標記。

(  select user_id,pt_date,  date_sub(pt_date, cast(date_rank as int)) as start_point  from t_a) t_b;

3.以上表中的user_id和start_point為分組依據，計算每個連續日期序列的天數值。因為數據量不大，所以這里直接用了distinct。數據量大的話還是應該采用group by來代替distinct。

4. 最后就可以篩選出天數值最大值>=7的那些記錄了。

select user_id,max(day_count) as max_day_count from t_cgroup by uidhaving max(day_count) >= 7;

將上面的4個步驟合起來，就是如下的完整SQL語句了：

  
    
  
  
  select user_id,max(day_count) as max_day_countfrom (  select user_id,start_point,  count(distinct pt_date) as day_count  from (    select user_id,pt_date,    date_sub(pt_date, cast(date_rank as int)) as start_point    from (        select user_id,pt_date,        dense_rank() over(partition by user_id order by pt_date) as date_rank        from user_calendar_record        where pt_date >= 20190401 and pt_date <= 20190430        and event_type = 24 and del_status = 0    ) t_a  ) t_b  group by user_id,start_point) t_cgroup by user_idhaving max(day_count) >= 7;
  
    
  
  
  如果還需要同時得到最大連續天數對應的起始日期怎么辦呢？可以將日期計數值存成一張臨時表，連續日期最大值存成另一張臨時表，然后兩表做join就可以得到結果了。

上述就是小編為大家分享的用HiveSQL計算連續天數問題的方法是什么了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。