集算器協助MongoDB之表間關聯

    MongoDB不支持join，其官網上推薦的unityjdbc可以把數據取出來進行二次計算實現join運算，但收費版才有這個功能。其他免費的jdbc drive只能支持最基本的SQL語句，不支持join。如果用Java等編程語言將數據取出后實現join計算，也比較復雜。

    用免費的esProc配合MongoDB，可以實現join計算。這里通過一個例子來說明一下具體作法。

MongoDB中的文檔orders保存了訂單數據，employee保存了員工數據。如下：

    MongoDB shell version: 2.6.4

connecting to: test

> db.orders.find();

{ "_id" :ObjectId("5434f88dd00ab5276493e270"), "ORDERID" : 1,"CLIENT" : "UJRNP

", "SELLERID" : 17,"AMOUNT" : 392, "ORDERDATE" : "2008/11/2 15:28" }

{ "_id" :ObjectId("5434f88dd00ab5276493e271"), "ORDERID" : 2,"CLIENT" : "SJCH"

, "SELLERID" : 6,"AMOUNT" : 4802, "ORDERDATE" : "2008/11/9 15:28"}

{ "_id" :ObjectId("5434f88dd00ab5276493e272"), "ORDERID" : 3,"CLIENT" : "UJRNP

", "SELLERID" : 16,"AMOUNT" : 13500, "ORDERDATE" : "2008/11/5 15:28"}

{ "_id" :ObjectId("5434f88dd00ab5276493e273"), "ORDERID" : 4,"CLIENT" : "PWQ",

 "SELLERID" : 9, "AMOUNT" :26100, "ORDERDATE" : "2008/11/8 15:28" }

…

> db.employee.find();

{ "_id" :ObjectId("5437413513bdf2a4048f3480"), "EID" : 1,"NAME" : "Rebecca", "

SURNAME" : "Moore","GENDER" : "F", "STATE" : "California","BIRTHDAY" : "1974-1

1-20", "HIREDATE" :"2005-03-11", "DEPT" : "R&D","SALARY" : 7000 }

{ "_id" :ObjectId("5437413513bdf2a4048f3481"), "EID" : 2,"NAME" : "Ashley", "S

URNAME" : "Wilson","GENDER" : "F", "STATE" : "New York","BIRTHDAY" : "1980-07-

19", "HIREDATE" :"2008-03-16", "DEPT" : "Finance","SALARY" : 11000 }

{ "_id" :ObjectId("5437413513bdf2a4048f3482"), "EID" : 3,"NAME" : "Rachel", "S

URNAME" : "Johnson","GENDER" : "F", "STATE" : "New Mexico","BIRTHDAY" : "1970-

12-17", "HIREDATE" :"2010-12-01", "DEPT" : "Sales","SALARY" : 9000 }

…

    Orders中的sellerid對應employee中的eid。需要查詢出employee的state屬性等于California的所有訂單信息。其中orders數據量較大，不能一次裝入內存。Employee數據量較小，Orders過濾之后的結果數據量也比較小。

查詢條件表達式可以作為參數傳遞給esProc，如下圖：

     esProc的程序代碼如下：

    A1: 連接MongoDB數據庫，ip和端口號是localhost:27017，數據庫是test，用戶名和密碼都是test。

    A2: 使用find函數從MongoDB中取數，形成游標。集合是orders，過濾條件是空，指定鍵_id不取出。esProc在find函數中采用了和mongdb的find語句一樣的參數格式。esProc的游標支持分批讀取和處理數據，可以避免數據量過大，內存出現溢出的情況。

    A3: 取得employee中的數據。因為數據量不大，所以用fetch函數一次取出。

    A4: 使用switch函數，將游標A2中SELLERID字段的值，轉換為A3(employee)中的記錄引用。

    A5: 按照條件過濾。這里使用宏來實現動態解析表達式，其中的where就是傳入參數。集算器將先計算${…}里的表達式，將計算結果作為宏字符串值替換${…}之后解釋執行。這個例子中最終執行的是：=A4.select(SELLERID.STATE=="California")。由于SELLERID已經轉化為employee的對應記錄的引用，所以可以直接寫SELLERID.STATE。過濾之后的結果數據量較小，所以一次取出。如果結果數據量仍然比較大的話，可以分批取出，比如每次取出10000條：fetch(10000)。

    A6：將過濾結果中的SELLERID重新切換為普通值。

A6的計算結果是：

過濾條件發生變化時不用改變程序，只需改變where參數即可。例如，條件變為：state等于California的訂單，或者CLIENT等于PWQ的訂單。Where的參數值可以寫為：CLIENT=="PWQ"||SELLERID.STATE=="California"。

esProc并不包含MongoDB的java驅動包。用esProc來訪問MongoDB，必須提前將MongoDB的java驅動包（esProc要求2.12.2或以上版本的驅動，mongo-java-driver-2.12.2.jar）放到[esProc安裝目錄]\common\jdbc中。

esProc協助MongoDB計算的腳本很容易集成到java中，只要增加一行A7，寫成result A6即可向java輸出resultset形式的結果，具體的代碼參考esProc教程。同樣，用java調用esProc訪問MongoDB也必須將mongdb的java驅動包放到java程序的classpath中。

集算器esProc的下載地址：http://www.raqsoft.cn/?p=2643 .