Fork/Join框架介紹順便測試jvm的記憶體溢位問題

阿新 • • 發佈：2019-01-22

1. 什麼是Fork/Join框架

Fork/Join框架是Java7提供了的一個用於並行執行任務的框架，是一個把大任務分割成若干個小任務，最終彙總每個小任務結果後得到大任務結果的框架。

我們再通過Fork和Join這兩個單詞來理解下Fork/Join框架，Fork就是把一個大任務切分為若干子任務並行的執行，Join就是合併這些子任務的執行結果，最後得到這個大任務的結果。比如計算1+2+。。＋10000，可以分割成10個子任務，每個子任務分別對1000個數進行求和，最終彙總這10個子任務的結果。Fork/Join的執行流程圖如下：

2. Fork/Join框架的介紹

我們已經很清楚Fork/Join框架的需求了，那麼我們可以思考一下，如果讓我們來設計一個Fork/Join框架，該如何設計？這個思考有助於你理解Fork/Join框架的設計。

第一步分割任務。首先我們需要有一個fork類來把大任務分割成子任務，有可能子任務還是很大，所以還需要不停的分割，直到分割出的子任務足夠小。

第二步執行任務併合並結果。分割的子任務分別放在雙端佇列裡，然後幾個啟動執行緒分別從雙端佇列裡獲取任務執行。子任務執行完的結果都統一放在一個佇列裡，啟動一個執行緒從佇列裡拿資料，然後合併這些資料。

java.util.concurrent

類 ForkJoinTask<V>

- java.util.concurrent.ForkJoinTask<V>

Fork/Join使用兩個類來完成以上兩件事情：

ForkJoinTask：我們要使用ForkJoin框架，必須首先建立一個ForkJoin任務。它提供在任務中執行fork()和join()操作的機制，通常情況下我們不需要直接繼承ForkJoinTask類，而只需要繼承它的子類，Fork/Join框架提供了以下兩個子類：
- RecursiveAction：用於沒有返回結果的任務。
- RecursiveTask ：用於有返回結果的任務。
ForkJoinPool ：ForkJoinTask需要通過ForkJoinPool來執行，任務分割出的子任務會新增到當前工作執行緒所維護的雙端佇列中，進入佇列的頭部。當一個工作執行緒的佇列裡暫時沒有任務時，它會隨機從其他工作執行緒的佇列的尾部獲取一個任務。

3. 使用Fork/Join框架

讓我們通過一個簡單的需求來使用下Fork／Join框架，需求是：計算1+2+3+4的結果。

使用Fork／Join框架首先要考慮到的是如何分割任務，如果我們希望每個子任務最多執行兩個數的相加，那麼我們設定分割的閾值是2，由於是4個數字相加，所以Fork／Join框架會把這個任務fork成兩個子任務，子任務一負責計算1+2，子任務二負責計算3+4，然後再join兩個子任務的結果。因為是有結果的任務，所以必須繼承RecursiveTask，實現程式碼如下：

package Concurrent;
import java.util.concurrent.RecursiveTask;
/**
 *
 * @author zhengchao
 */
public class CalculatorFork_Join extends RecursiveTask<Long> {  
  
    private static final int THRESHOLD = 10000;  
    private int start;  
    private int end;  
  
    public CalculatorFork_Join(int start, int end) {  
        this.start = start;  
        this.end = end;  
    }  
  
    @Override  
    protected Long compute() {  
        long sum = 0;  
        if((end - start) < THRESHOLD){  
            for(int i = start; i<= end;i++){  
                sum += i;  
            }  
        }else{  
            int middle = (start + end) /2;  
            CalculatorFork_Join left = new CalculatorFork_Join(start, middle);  
            CalculatorFork_Join right = new CalculatorFork_Join(middle + 1, end);  
            left.fork();  
            right.fork();  
  
            sum = left.join() + right.join();  
        }  
        return sum;  
    }  
}

package Concurrent;

import java.util.concurrent.ExecutionException;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.Future;

/**
 *
 * @author zhengchao
 */
public class testMain {
    
     public static void main(String[] args) throws ExecutionException, InterruptedException{
         
         long start = System.currentTimeMillis();
         ForkJoinPool forkJoinPool = new ForkJoinPool();  
         Future<Long> result = forkJoinPool.submit(new CalculatorFork_Join(0, 1000000));  
         System.out.println("ForkJoinCostTime:"+(System.currentTimeMillis()-start));
         System.out.println(result.get());
         
         start = System.currentTimeMillis();
         long sum = 0;
         for(int i=0;i<=1000000;i++){
             sum+=i;
         }
         System.out.println("CostTime:"+(System.currentTimeMillis()-start));
         System.out.println(sum);
         forkJoinPool.shutdown();
             
     }
}

通過這個例子讓我們再來進一步瞭解ForkJoinTask，ForkJoinTask與一般的任務的主要區別在於它需要實現compute方法，在這個方法裡，首先需要判斷任務是否足夠小，如果足夠小就直接執行任務。如果不足夠小，就必須分割成兩個子任務，每個子任務在呼叫fork方法時，又會進入compute方法，看看當前子任務是否需要繼續分割成孫任務，如果不需要繼續分割，則執行當前子任務並返回結果。使用join方法會等待子任務執行完並得到其結果。

效能分析：

1、計算1-10000

run:
ForkJoinCostTime:1
50005000
CostTime:0
50005000
成功構建 (總時間: 0 秒)

資料量較小時，是用Fork/Join效果不明顯，甚至不如正常的計算，這是因為建立Fork/Join耗時了。
2、計算1-100000

run:
ForkJoinCostTime:1
5000050000
CostTime:2
5000050000
成功構建 (總時間: 0 秒)

3、計算1-1000000

run:
ForkJoinCostTime:1
500000500000
CostTime:3
500000500000
成功構建 (總時間: 0 秒)

如果我們將

private static final int THRESHOLD = 10000;

設定為100，執行計算計算1-1000000：

run:
ForkJoinCostTime:2
Exception in thread "main" java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError
	at java.util.concurrent.ForkJoinTask.get(ForkJoinTask.java:942)
	at Concurrent.testMain.main(testMain.java:26)
Caused by: java.lang.OutOfMemoryError
	at sun.reflect.GeneratedConstructorAccessor1.newInstance(Unknown Source)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at java.util.concurrent.ForkJoinTask.getThrowableException(ForkJoinTask.java:536)
	at java.util.concurrent.ForkJoinTask.get(ForkJoinTask.java:941)
	... 1 more
Caused by: java.lang.OutOfMemoryError
	at sun.reflect.GeneratedConstructorAccessor1.newInstance(Unknown Source)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at java.util.concurrent.ForkJoinTask.getThrowableException(ForkJoinTask.java:536)
	at java.util.concurrent.ForkJoinTask.reportResult(ForkJoinTask.java:596)
	at java.util.concurrent.ForkJoinTask.join(ForkJoinTask.java:640)
	at Concurrent.CalculatorFork_Join.compute(CalculatorFork_Join.java:40)
	at Concurrent.CalculatorFork_Join.compute(CalculatorFork_Join.java:15)
	at java.util.concurrent.RecursiveTask.exec(RecursiveTask.java:93)
	at java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:334)
	at java.util.concurrent.ForkJoinWorkerThread.execTask(ForkJoinWorkerThread.java:604)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:784)
	at java.util.concurrent.ForkJoinPool.work(ForkJoinPool.java:646)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:398)
Caused by: java.lang.OutOfMemoryError
	at sun.reflect.GeneratedConstructorAccessor1.newInstance(Unknown Source)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at java.util.concurrent.ForkJoinTask.getThrowableException(ForkJoinTask.java:536)
	at java.util.concurrent.ForkJoinTask.reportResult(ForkJoinTask.java:596)
	at java.util.concurrent.ForkJoinTask.join(ForkJoinTask.java:640)
	at Concurrent.CalculatorFork_Join.compute(CalculatorFork_Join.java:40)
	at Concurrent.CalculatorFork_Join.compute(CalculatorFork_Join.java:15)
	at java.util.concurrent.RecursiveTask.exec(RecursiveTask.java:93)
	at java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:334)
	at java.util.concurrent.ForkJoinWorkerThread.execTask(ForkJoinWorkerThread.java:604)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:762)
	... 2 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError
	... 14 more
Caused by: java.lang.OutOfMemoryError: unable to create new native thread
	at java.lang.Thread.start0(Native Method)
	at java.lang.Thread.start(Thread.java:713)
	at java.util.concurrent.ForkJoinPool.addWorker(ForkJoinPool.java:1132)
	at java.util.concurrent.ForkJoinPool.tryPreBlock(ForkJoinPool.java:1009)
	at java.util.concurrent.ForkJoinPool.tryAwaitJoin(ForkJoinPool.java:1042)
	at java.util.concurrent.ForkJoinWorkerThread.joinTask(ForkJoinWorkerThread.java:731)
	at java.util.concurrent.ForkJoinTask.doJoin(ForkJoinTask.java:362)
	at java.util.concurrent.ForkJoinTask.join(ForkJoinTask.java:639)
	... 8 more
Java Result: 1
成功構建 (總時間: 0 秒)

記憶體溢位了，為什麼呢？因為我們建立了太大的執行緒，導致記憶體消耗殆盡。

所以，閾值要設定的恰當，否則可能效率並不會提高，設定導致異常的產生。

Fork/Join框架介紹順便測試jvm的記憶體溢位問題

2. Fork/Join框架的介紹

3. 使用Fork/Join框架

Fork/Join框架介紹順便測試jvm的記憶體溢位問題

聊聊併發（八）——Fork/Join框架介紹

Fork/Join框架簡單介紹與使用

Fork/Join框架詳解

Fork/Join框架

Java並發編程從入門到精通 - 第7章：Fork/Join框架

Java程式設計技術分享：Java併發之Fork-Join框架分析

定製在fork/join框架中執行的任務

實現為fork/join框架生成自定義執行緒的ThreadFactory介面

什麼是Fork/Join框架？

Fork/Join框架。

淺談Fork/Join框架

Java Fork Join框架 (二) 簡介

Java Fork Join框架 (一) 摘要

Fork/Join框架（三）加入任務的結果

Java Fork Join 框架（三）實現

Fork/Join框架（五）在任務中丟擲異常

定製併發類（八）自定義在 Fork/Join 框架中執行的任務

Fork/Join框架（二）建立一個Fork/Join池

Java Fork Join框架 (三) 設計

Fork/Join框架介紹 順便測試jvm的記憶體溢位問題

2. Fork/Join框架的介紹

3. 使用Fork/Join框架

相關推薦

Fork/Join框架介紹順便測試jvm的記憶體溢位問題