比較 csv 文件中數據差異

????????csv文件存儲數據時在結構上基本和一個數據庫表相當，不過因為讀寫方便，所以使用頻率很高，例如輸出一些臨時結果，或者持續記錄類似日志形式的數據。不過，當需要對這些數據進一步處理時，如果還要先導入數據庫，那么csv本身的便利性也就沒有了。

事實上，通過集算器，可以直接對csv文件進行處理，而且還可以進行一些“高級”操作，就像本文要介紹的比較兩個csv文件的差異。

???????? 假設在一個簡單的銷售系統中，前端系統只負責錄入，包括新增、修改和刪除訂單，同時，每天會把數據文件做一次備份歸檔。在后期分析中，需要查看某個時間段內的新增、取消和修改的訂單。下面就是不使用數據庫，直接比較csv文件的操作。

例子中使用了2015年3月的兩個文件，早一點的是old.csv，晚一點的是new.csv。文件中的邏輯主鍵是userName和date，需要分別找出新增的、刪除的、修改的數據行。源文件如下：

???????? 直接觀察數據，可以看到new.csv中的第2、3行是新增的記錄，第4行是修改的記錄，old.csv中第3行是刪除的記錄。

???????? 集算器代碼如下：

???????? A1,B1：以逗號為分隔符讀入文件。

???????? A2,B2：將數據按照關鍵字排序。因為后面使用merge函數要求數據有序。

???????? A3：函數merge可進行多數據集歸并，使用選項@d表示歸并時找出差集。類似地還有并集選項@u，交集選項@i。新增記錄實際上就是較新的數據和較舊數據按關鍵字的差集，計算結果如下：

???????? A4：同樣的，較舊數據和較新數據按關鍵字的差集就是刪除的記錄，計算結果如下：

???????? A5：將關鍵字作為普通字段計算差集，找到修改過的所有記錄。計算結果如下：

???????? A6：要計算更新的記錄，把A5作為中間計算結果，計算A5和“新增”記錄之間的差集。計算結果如下：

?

???????? B6：將A6返回給JAVA或報表工具。

?

???????? 上述腳本完成了所有的數據處理工作，接下來還可以通過JDBC將集算器腳本集成在JAVA里。JAVA代碼如下：

???????? //建立esProc jdbc連接

???????? Class.forName("com.esproc.jdbc.InternalDriver");

???????? con= DriverManager.getConnection("jdbc:esproc:local://");

???????? //調用esProc，其中test是腳本文件名，可接收參數

???????? st =(com.esproc.jdbc.InternalCStatement)con.prepareCall("call test()");????????????? ????????

????????com.esproc.jdbc.InternalCStatement st = (com.esproc.jdbc.InternalCStatement)con.prepareCall("call test()");

???????? st.execute();//執行esProc存儲過程

???????? ResultSet set = st.getResultSet();//獲得計算結果

?

???????? 而如果要將多個數據集返回給JAVA，可以將B6的代碼改為：return new,delete,update。