怎樣將大批量檔案進行迴圈分組（reduce）？
阿新 • • 發佈：2021-03-05
## 背景
當有時候一個資料夾下有幾萬個幾十萬個檔案時，我們的桌面終端開啟這個資料夾可能會卡。或者將檔案進行批量上傳時，如果是在資料夾下全選，那麼基本上瀏覽器就卡死了，當然也不能這樣子操作滴~
題主最近就遇到這樣一個問題，批量上傳檔案，有幾萬個，擔心全選會搞崩瀏覽器或者cmd終端，於是打算將資料分組，分批次上傳，減少風險壓力。可能有的同學會說，那簡單嘛，直接ctrl C+V完事兒，但是人這個眼睛吶，越集中注意力看一個字，就越不覺得它像個字，所以難免會出錯的，而且拖動也會很卡。
> 作為一個搞電腦的工程師（程式猿），能用電腦解決的，怎麼能浪費體力呢[滑稽]
## 參考步驟
其實要實現這麼一個東西，很簡單的，二話不多說，直接一個for迴圈搞定 歐耶！但是呀，那個速度呀，難以忍受，如果分組這個檔案還需要去做一些額外的操作，那豈不是更慢，說到這，想到以前讀書學習大資料的時候，分詞計算map-reduce那每次一跑就是一個小時過去了，所以，光寫出來不得行，還得優化。而且分組的時候有一些注意點要注意。
題主的大致步驟如下：
> 1. 開啟資料夾，遍歷檔案；
> 2. 啟用執行緒池，多執行緒跑批任務，加快速度；
> 3. 計數資料夾中檔案個數，達到指定數量，建立下一個資料夾；
> 4. 使用新的資料夾繼續移動或複製檔案，操作過程中進行重新命名；重複3，4步驟
> 5. 操作完畢，等待執行緒池任務處理完畢，銷燬。
## 程式碼實現
說了那麼多，還是直接上程式碼吧:)
``` java
import java.io.File;
import java.util.Arrays;
import java.util.Objects;
import java.util.concurrent.*;
public class TestReduceFile {
/**
* 檔案計數
*/
private static volatile int currentFileNum = 0;
private static final String initFilePathName = "/Users/anhaoo/test/reduceFile/reduce";
private static volatile String currentFilePathName;
public static void main(String[] args) {
groupFile("/User/anhaoo/test/big_pdf");
}
/**
* 將檔案分組：分成一個資料夾多少個檔案這種
* @param oldFilePath
*/
private static void groupFile(String oldFilePath) {
File file = new File(oldFilePath);
File[] fileList = file.listFiles();
// 執行緒池批處理：連結串列阻塞佇列
ExecutorService executor = Executors.newFixedThreadPool(80);
if (Objects.nonNull(fileList) && fileList.length > 0) {
// System.out.println(fileList.length);
Arrays.stream(fileList).forEach(item -> {
// 執行緒池提交任務處理
if (!item.isDirectory()) {
executor.execute(() -> groupFileSub(item));
}
});
}
// shutdown 等待任務全部執行完畢 銷燬
executor.shutdown();
}
/**
* 分組檔案，每滿n個檔案生成下一個資料夾，然後將後續遍歷的檔案移動到下一個資料夾中
* @param oldFile
*/
private static synchronized void groupFileSub(File oldFile) {
// 判斷是否需要新生成資料夾，一個資料夾下放700個
if (currentFileNum % 700 == 0) {
// reduce0,reduce1,reduce2......
String newFileFolder = initFilePathName.concat(String.valueOf(currentFileNum/700));
// 將新的資料夾名賦值給共享變數
currentFilePathName = newFileFolder;
}
File aimFilePath = new File(currentFilePathName);
if (!aimFilePath.exists()) {
aimFilePath.mkdirs();
}
try {
// 移動檔案時順便重新命名檔案
String oldFileName = oldFile.getName();
String[] fileNameArr = oldFileName.split("_");
// 加下面這個if的原因 是因為mac電腦下有一個隱藏的.DS_Store檔案,它按我的規則重新命名時會影響我的操作
// 所以判斷一下，不然我這裡會拋越界異常：）
if (fileNameArr.length < 3) {
return;
}
String uuid = fileNameArr[2];
String newFileName = "/pdfFile_".concat(uuid);
File aimFile = new File(aimFilePath + File.separator + newFileName);
currentFileNum++;
oldFile.renameTo(aimFile);
} catch (Exception e) {
e.printStackTrace();
}
}
}
```
程式碼就如上了，效果如圖所示：
>