如何用外部程序優化SQL語句中的IN和EXISTS

數據結構

IN 和 EXISTS 是 SQL 中常見的復雜條件，在將 SQL（存儲過程）轉換成庫外計算獲取高性能時也會面對這些問題。本文將以 TPC-H 定義的模型為基礎，介紹如何用集算器的語法實現 IN、EXISTS 并做優化。

TPC-H 是 TPC 事務處理性能委員會制定的用于 OLAP 數據庫管理系統的測試標準，模擬真實商業應用環境，以評估商業分析中決策支持系統的性能。TPC-H 模型定義了 8 張表，表結構和表關系如下圖：

IN 常數集合

SQL 示例（1）：

select
      P_SIZE, P_TYPE, P_BRAND, count(1) as P_COUNT
from
      PART
where
      P_SIZE in (2, 3, 8, 15, 17, 25, 27, 28, 30, 38, 41, 44, 45)
      and P_TYPE in ('SMALL BRUSHED NICKEL', 'SMALL POLISHED STEEL')
      and P_BRAND not in ('Brand#12', 'Brand#13')
group by
      P_SIZE, P_TYPE, P_BRAND

優化思路：

如果常數集合元素數少于 3 個則可以翻譯成 (f == v1 || f == v2) 這種樣式，NOT IN 對應的就是（f != v1 && f != v2）。較多的時候可以在外層把常數集合定義成序列，然后用 A.contain(f)來判斷字段是否在序列中，經驗表明元素個數超過 10 個時二分查找會明顯快于順序查找，如果要用二分查找則需要先把序列排序，然后用 A.contain@b(f)來進行有序查找，NOT IN 對應的就是! A.contain(f)。注意一定要把序列定義在循環函數外，否則會被多次執行。

如果常數集合元素數量特別多可以用連接過濾，具體請參照下圖代碼。

集算器實現：

如果 A1 的元素數量特別多，則可以使用哈希連接的方法來過濾，把第 3 行代碼替換如下：

IN 子查詢

子查詢選出字段是主鍵

SQL 示例（2）：

select
      PS_SUPPKEY, count(1) as S_COUNT
from
      PARTSUPP
where
      PS_PARTKEY in (
            select
                  P_PARTKEY
            from
                  PART
            where
                  P_NAME like 'bisque%%'
      )
group by
      PS_SUPPKEY

優化思路：

子查詢過濾后讀入內存，然后外層表與先讀入的內存表（子查詢）做哈希連接進行過濾。集算器提供了 switch@i()、join@i() 兩個函數用來做哈希連接過濾，switch 是外鍵式連接，用來把外鍵字段變成指引字段，這樣就可以通過外鍵字段直接引用指向表的字段，join 函數不會改變外鍵字段的值，可用于只過濾。

集算器實現：

子查詢選出字段不是主鍵

SQL 示例（3）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT      
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and O_ORDERKEY in (
            select
                  L_ORDERKEY
            from
                  LINEITEM
            where
                  L_COMMITDATE< L_RECEIPTDATE
      )

group by
      O_ORDERPRIORITY

優化思路：

子查詢過濾后按關聯字段去重讀入內存，然后就變成類似于主鍵的情況了，可以繼續用上面說的 switch@i()、join@i() 兩個函數用來做哈希連接過濾。

集算器實現：

子查詢結果集內存放不下

SQL 示例（3）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and O_ORDERKEY in (
            select
                  L_ORDERKEY
            from
                  LINEITEM
            where
                  L_COMMITDATE< L_RECEIPTDATE
      )

group by
      O_ORDERPRIORITY

優化思路：

IN 子查詢相當于對子查詢結果集去重然后跟外層表做內連接，而做連接效率較好的就是哈希連接和有序歸并連接，所以這個問題就變成了怎么把 IN 翻譯成高效的連接，下面我們來分析在不同的數據分布下如何把 IN 轉成連接。

(1) 外層表數據量比較小可以裝入內存：

先讀入外層表，如果外層表關聯字段不是邏輯主鍵則去重，再拿上一步算出來的關聯字段的值對子查詢做哈希連接過濾，最后拿算出來的子查詢關聯字段的值對外層表做哈希連接過濾。

(2) 外層表和內層表按關聯字段有序：

此時可以利用函數 joinx() 來做有序游標的歸并連接，如果內層表關聯字段不是邏輯主鍵則需要先去重。此例中的 ORDERS 表和 LINEITEM 表是按照 ORDERKEY 同序存放，可以利用此方法來做優化。

(3) 內層表是大維表并且按主鍵有序存放：

集算器提供了針對有序大維表文件做連接的函數 A.joinx，其它方法跟內存能放下時的處理類似在此不再描述。

集算器實現（1）：

集算器實現（2）：

EXISTS 等值條件

此章節的優化思路和 IN 子查詢的優化思路是相同的，事實上這種 EXISTS 也都可以用 IN 寫出來（或者倒過來，把 IN 用 EXISTS 寫出來）。

子查詢關聯字段是主鍵

SQL 示例（4）：

select
      PS_SUPPKEY, count(1) as S_COUNT
from
      PARTSUPP
where
      exists (
            select
                  *
            from
                  PART
            where
                  P_PARTKEY = PS_PARTKEY
                  and P_NAME like 'bisque%%'
      )

group by
      PS_SUPPKEY

優化思路：

子查詢過濾后讀入內存，然后外層表與先讀入的內存表（子查詢）做哈希連接進行過濾。集算器提供了 switch@i()、join@i() 兩個函數用來做哈希連接過濾，switch 是外鍵式連接，用來把外鍵字段變成指引字段，這樣就可以通過外鍵字段直接引用指向表的字段，join 函數不會改變外鍵字段的值，可用于只過濾。

集算器實現：

子查詢關聯字段不是主鍵

SQL 示例（5）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and exists (
            select
                  *
            from
                  LINEITEM
            where
                  L_ORDERKEY = O_ORDERKEY
                  and L_COMMITDATE < L_RECEIPTDATE
            )

group by
      O_ORDERPRIORITY

優化思路：

子查詢過濾后按關聯字段去重讀入內存，然后就變成類似于主鍵的情況了，可以繼續用上面說的 switch@i()、join@i() 兩個函數用來做哈希連接過濾。

集算器實現：

子查詢結果集內存放不下

SQL 示例（5）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and exists (
            select
                  *
            from
                  LINEITEM
            where
                  L_ORDERKEY = O_ORDERKEY
                  and L_COMMITDATE < L_RECEIPTDATE
            )
group by
      O_ORDERPRIORITY

優化思路：

等值 EXISTS 相當于對內部表關聯字段去重然后跟外層表做內連接，而做連接效率較好的就是哈希連接和有序歸并連接，所以這個問題就變成了怎么把 EXISTS 翻譯成高效的連接，下面我們來分析在不同的數據分布下如何把 EXISTS 轉成連接。

1、外層表數據量比較小可以裝入內存：

先讀入外層表，如果外層表關聯字段不是邏輯主鍵則去重，再拿上一步算出來的關聯字段的值對子查詢做哈希連接過濾，最后拿算出來的子查詢關聯字段的值對外層表做哈希連接過濾。

2、外層表和內層表按關聯字段有序：

此時可以利用函數 joinx() 來做有序游標的歸并連接，如果內層表關聯字段不是邏輯主鍵則需要先去重。此例中的 ORDERS 表和 LINEITEM 表是按照 ORDERKEY 同序存放，可以利用此方法來做優化。

3、內層表是大維表并且按主鍵有序存放：

集算器提供了針對有序大維表文件做連接的函數 A.joinx，其它方法跟內存能放下時的處理類似在此不再描述。

集算器實現（1）：

集算器實現（2）：

EXISTS 非等值條件

同表關聯

SQL 示例（6）：

select
      L_SUPPKEY, count(*) as numwait
from
      LINEITEM L1,
where
      L1.L_RECEIPTDATE > L1.L_COMMITDATE
      and exists (
            select
                  *
            from
                  LINEITEM L2
            where
                  L2.L_ORDERKEY = L1.L_ORDERKEY
                  and L2.L_SUPPKEY <> L1.L_SUPPKEY
            )
      and not exists (
            select
                  *
            from
                  LINEITEM L3
            where
                  L3.L_ORDERKEY = L1.L_ORDERKEY
                  and L3.L_SUPPKEY <> L1.L_SUPPKEY
                  and L3.L_RECEIPTDATE > L3.L_COMMITDATE
            )
group by
      L_SUPPKEY

優化思路：

我們先來看一下 LINEITEM 表的數據特點，LINEITEM 表的主鍵是 L_ORDERKEY、L_LINENUMBER，一個訂單對應 LINEITEM 里的多條記錄，這些記錄的 L_ORDERKEY 是相同的并且在數據文件中是相鄰的。知道這些信息后再來分析上面的 SQL，其條件是為了找出有多個供應商供貨并且有且僅有一個供應商沒有按時交貨的訂單，因為數據是按訂單順序存放的，這樣我們就可以按訂單有序分組，然后循環每組訂單判斷是否有沒按時交貨的訂單項，是否有多個供貨商，并且是不是只有一個供應商沒有按時交貨。

集算器實現：

總結

在沒有空值的時候帶子查詢的 IN 都可以用 EXISTS 描述，同一個查詢需求用 IN 描述和用 EXISTS 描述翻譯成的集算器代碼是相同的，所以我們只要弄清楚 EXISTS 怎么翻譯和優化就知道 IN 怎么處理了。

等值 exist 本質上是做連接，兩個表做連接效率較好的兩種方式是哈希連接和有序歸并連接，對于翻譯 select *** from A where exists (select *** from B where ***) 樣式的 SQL，我們首先要弄清楚下列信息：

（1）關聯字段是否是各表的主鍵或者邏輯主鍵

（2）A、B 表的規模，執行其它過濾條件后是否能載入內存

（3）如果沒有某個表能裝入內存則要考察兩個表是否按關聯字段有序

如果有一個表能載入內存則可以選用哈希連接的方式來實現，相關的集算器函數有兩個 cs.switch()、cs.join()，這兩個函數有兩個可用的選項 @i、@d 分別對應 exists 和 not exists，參數里的表要求按關聯字段值唯一，如果不是邏輯主鍵則要先去重，可用 A.groups()去重。如果兩個表都很大不能載入內存則要考察兩個表是否按關聯字段有序，如果無序可以用 cs.sortx() 排序，對于有序的兩個表就可以用 joinx() 來做連接了。

非等值運算則要分析其中的運算邏輯看能否轉成分組后再計算，如果不能則只能使用嵌套循環連接的方式了，對應的函數是 xjoin()。

知道這些信息并熟練掌握集算器相關的幾個函數后我們就能夠寫出高效的代碼。