控制檯命令、JAVA、python、perl都可以進行簡單的文字比對，但這些工具不擅長集合運算、結構化運算，編寫多執行緒程式碼較複雜，處理多欄位對比、大檔案對比、異構檔案對比等情況時很繁瑣。

       免費的集算器支援集合運算、遊標運算、結構化運算，簡化了多執行緒程式碼，可以彌補上述不足。集算器應用簡單，支援獨立使用、控制檯執行.

下面用若干例子說明集算器實現檔案對比的過程。

找到兩個檔案相同的列值

有兩個檔案：f1.txt和f2.txt，都有Name和Dept這兩個列，第一行是列名，現在需要在這兩個檔案裡找到相同的Name。部分資料如下：

       檔案f1.txt:

用import函式將檔案讀入記憶體，再用函式isect進行交集運算。預設的分隔符是tab。@t表示將第一行讀為列名，後續的計算就可以直接用Name和Dept來引用相應的列，如果第一行不是列名，則應當用_1和_2這種預設列名來引用。

函式isect等價於交集運算子，程式碼可寫作：A1.(Name) ^ B1.(Name) 。

倫理片http://www.dotdy.com/

結果如下：

引申：

<!--[if !supportLists]-->1.           1、用交集運算可找到相同的欄位值，類似的還有並集、差集、合集。

       找到f1.txt和f2.txt共同的Name（合併重複值），可用函式union或並集運算子”&”，結果如下：

找到在f1.txt但不在f2.txt的Name，可用函式diff或差集運算子”\”，結果如下：

       將f1.txt和f2.txt中的Name合併起來，允許重複，可用函式conj或和集運算子”|”，結果如下：

<!--[if !supportLists]-->1.  2       2、進行整行對比時，可用@ts將檔案讀為字串集合。如下：

找到CSV中修改過的記錄

         old.csv是原始檔案，new.csv是對old.csv進行增刪改操作後的檔案，兩者的邏輯主鍵是userName和date，需要找出old.csv檔案中哪些記錄被修改過。

         部分資料如下：

       可以看到new.csv中的第2、3行是新增的記錄，第4行是修改的記錄，old.csv中第3行是刪除的記錄。

         集算器程式碼：

 

       以逗號為分隔符讀入檔案，將資料按照關鍵字排序。之後先求出新增的記錄（主鍵不同），存在變數new中，再找到old.txt和new.txt有差異的記錄（任意欄位不同），存在變數diff中，最後計算diff和new的差集，也就是被修改過的記錄（主鍵相同，其他欄位不同）。結果如下：

 

       引申：被刪除的記錄可以這樣計算：[A2,B2][email protected](userName,date)

找到兩個大檔案相同的行

       檔案file1.txt和file2.txt儲存著大量的字串，找出兩者共同的行資料（交集）。部分資料如下：

 

集算器程式碼:

       函式cursor以遊標形式開啟檔案，並不會將資料全部讀入記憶體。預設以tab為列分割符讀入全部的欄位，自動命名為_1、_2、_3…_n。函式sortx可對遊標進行排序，函式merge可對有序資料進行歸併計算，@x表示對遊標歸併，@i表示歸併結果為交集。函式export可將遊標寫入檔案，結果如下：

引申：函式merge使用@i時表示交集，使用@u表示並集，使用@d表示差集，預設為歸併，即將兩個檔案按字元順序進行合併，並允許重複。

一大一小檔案比較

檔案File1.txt體積較大，但file2.txt可讀入記憶體，現在需要找到兩者相同的行。

集算器程式碼如下：

可以將小檔案讀入記憶體，再用Hash查詢的方法來進行集合運算，這樣可以顯著提高效率。函式primary可設定主鍵，index可建立hash索引。函式find可用來查詢出遊標A1和B1相同的資料，即求交集。

引申：求差集可將A3程式碼寫作=A1.select(!B1.find(~._1))

求並集可先計算出file1和file2的差集，再和file2做合併：

用平行計算提高檔案比較的效能

前面的演算法是序列，改成並行可以進一步提高效能，具體做法是用多個執行緒並行讀取檔案，每個執行緒都用遊標訪問檔案的一部分，並同時進行集合計算，最後再將每個遊標的結果合併。

在相同的硬體環境下對2.77G大檔案和39.93M的小檔案進行測試，序列時平均耗時85秒，並行時平均耗時47秒，效能提高接近一倍。由於集合運算的複雜度較小，瓶頸會產生在硬碟讀取上，如果進一步加大運算的複雜度，效能提升的幅度將會更大。

         集算器平行計算的程式碼如下：

       將檔案分為4段，生成4個遊標同時計算，計算完成後合併遊標。

      分段數量不宜過多，一般應該等於系統並行數量，否則會排隊等待。並行數量可以在配置檔案中設定。函式cursor使用了選項@z，這表示將檔案分段，用遊標取其中的某一段。之所以是“大致分”，是因為精確分會出現半行資料的情況，而集算器會去頭補位，自動取出整行資料。

異構檔案比較

影音先鋒電影http://www.iskdy.com/

       Data.txt是tab分隔的文字，共有6個欄位，其中here欄位是分號分隔的字串。檔案list是單列資料。現在要比較兩個檔案，如果某條記錄的here欄位拆分後和List.txt中的任意一行匹配，則將這條記錄輸出到result.txt中。

      源資料如下：

       集算器程式碼：

       程式碼中函式select可進行查詢，函式array可拆分字串，”^”表示求交集，”[]”表示空集。

         結果如下：

根據HTML排除字串列表

         找出列表tagList裡哪些字串不在檔案a.html中。TagList="Marketing","sales","human resource","Finance","R&D","commerce"。a.html如下：