1. 程式人生 > >慕課網實戰·高併發探索(十四):執行緒池 Executor

慕課網實戰·高併發探索(十四):執行緒池 Executor

特別感謝:慕課網jimin老師的《Java併發程式設計與高併發解決方案》課程,以下知識點多數來自老師的課程內容。
jimin老師課程地址:Java併發程式設計與高併發解決方案

new Thread的弊端

  • 每次new Thread 新建物件,效能差
  • 執行緒缺乏統一管理,可能無限制的新建執行緒,相互競爭,可能佔用過多的系統資源導致宕機或者OOM(out of memory 記憶體溢位),這種問題的原因不是因為單純的new一個Thread,而是可能因為程式的bug或者設計上的缺陷導致不斷new Thread造成的。
  • 缺少更多功能,如更多執行、定期執行、執行緒中斷。

執行緒池的好處

  • 重用存在的執行緒,減少物件建立、消亡的開銷,效能好
  • 可有效控制最大併發執行緒數,提高系統資源利用率,同時可以避免過多資源競爭,避免阻塞。
  • 提供定時執行、定期執行、單執行緒、併發數控制等功能。

執行緒池類圖

這裡寫圖片描述

線上程池的類圖中,我們最常使用的是最下邊的Executors,用它來建立執行緒池使用執行緒。那麼在上邊的類圖中,包含了一個Executor框架,它是一個根據一組執行策略的呼叫排程執行和控制非同步任務的框架,目的是提供一種將任務提交與任務如何執行分離開的機制。它包含了三個executor介面:

  • Executor:執行新任務的簡單介面
  • ExecutorService:擴充套件了Executor,添加了用來管理執行器生命週期和任務生命週期的方法
  • ScheduleExcutorService:擴充套件了ExecutorService,支援Future和定期執行任務

執行緒池核心類-ThreadPoolExecutor

引數說明:ThreadPoolExecutor一共有七個引數,這七個引數配合起來,構成了執行緒池強大的功能。

  • corePoolSize:核心執行緒數量
  • maximumPoolSize:執行緒最大執行緒數
  • workQueue:阻塞佇列,儲存等待執行的任務,很重要,會對執行緒池執行過程產生重大影響

當我們提交一個新的任務到執行緒池,執行緒池會根據當前池中正在執行的執行緒數量來決定該任務的處理方式。處理方式有三種:
1、直接切換(SynchronusQueue)
2、無界佇列(LinkedBlockingQueue)能夠建立的最大執行緒數為corePoolSize,這時maximumPoolSize就不會起作用了。當執行緒池中所有的核心執行緒都是執行狀態的時候,新的任務提交就會放入等待佇列中。
3、有界佇列(ArrayBlockingQueue)最大maximumPoolSize,能夠降低資源消耗,但是這種方式使得執行緒池對執行緒排程變的更困難。因為執行緒池與佇列容量都是有限的。所以想讓執行緒池的吞吐率和處理任務達到一個合理的範圍,又想使我們的執行緒排程相對簡單,並且還儘可能降低資源的消耗,我們就需要合理的限制這兩個數量
分配技巧: [如果想降低資源的消耗包括降低cpu使用率、作業系統資源的消耗、上下文切換的開銷等等,可以設定一個較大的佇列容量和較小的執行緒池容量,這樣會降低執行緒池的吞吐量。如果我們提交的任務經常發生阻塞,我們可以調整maximumPoolSize。如果我們的佇列容量較小,我們需要把執行緒池大小設定的大一些,這樣cpu的使用率相對來說會高一些。但是如果執行緒池的容量設定的過大,提高任務的數量過多的時候,併發量會增加,那麼執行緒之間的排程就是一個需要考慮的問題。這樣反而可能會降低處理任務的吞吐量。]

  • keepAliveTime:執行緒沒有任務執行時最多保持多久時間終止(當執行緒中的執行緒數量大於corePoolSize的時候,如果這時沒有新的任務提交核心執行緒外的執行緒不會立即銷燬,而是等待,直到超過keepAliveTime)
  • unit:keepAliveTime的時間單位
  • threadFactory:執行緒工廠,用來建立執行緒,有一個預設的工場來建立執行緒,這樣新創建出來的執行緒有相同的優先順序,是非守護執行緒、設定好了名稱)
  • rejectHandler:當拒絕處理任務時(阻塞佇列滿)的策略(AbortPolicy預設策略直接丟擲異常、CallerRunsPolicy用呼叫者所在的執行緒執行任務、DiscardOldestPolicy丟棄佇列中最靠前的任務並執行當前任務、DiscardPolicy直接丟棄當前任務)
    這裡寫圖片描述

corePoolSize、maximumPoolSize、workQueue 三者關係:如果執行的執行緒數小於corePoolSize的時候,直接建立新執行緒來處理任務。即使執行緒池中的其他執行緒是空閒的。如果執行中的執行緒數大於corePoolSize且小於maximumPoolSize時,那麼只有當workQueue滿的時候才建立新的執行緒去處理任務。如果corePoolSize與maximumPoolSize是相同的,那麼建立的執行緒池大小是固定的。這時有新任務提交,當workQueue未滿時,就把請求放入workQueue中。等待空執行緒從workQueue取出任務。如果workQueue此時也滿了,那麼就使用另外的拒絕策略引數去執行拒絕策略。

初始化方法:由七個引數組合成四個初始化方法
這裡寫圖片描述

其他方法:

序號 方法名 描述
1 execute() 提交任務,交給執行緒池執行
2 submit() 提交任務,能夠返回執行結果 execute+Future
3 shutdown() 關閉執行緒池,等待任務都執行完
4 shutdownNow() 關閉執行緒池,不等待任務執行完
5 getTaskCount() 執行緒池已執行和未執行的任務總數
6 getCompleteTaskCount() 已完成的任務數量
7 getPoolSize() 執行緒池當前的執行緒數量
8 getActiveCount() 當前執行緒池中正在執行任務的執行緒數量

執行緒池生命週期:
這裡寫圖片描述

  • running:能接受新提交的任務,也能處理阻塞佇列中的任務
  • shutdown:不能處理新的任務,但是能繼續處理阻塞佇列中任務
  • stop:不能接收新的任務,也不處理佇列中的任務
  • tidying:如果所有的任務都已經終止了,這時有效執行緒數為0
  • terminated:最終狀態

使用Executor建立執行緒池

使用Executor可以建立四種執行緒池:分別對應上邊提到的四種執行緒池初始化方法

  • 1、Executors.newCachedThreadPool
    建立一個可快取的執行緒池,如果執行緒池的長度超過了處理的需要,可以靈活回收空閒執行緒。如果沒有可回收的就新建執行緒。
//原始碼:
public static ExecutorService newCachedThreadPool() {
    return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
                                  60L, TimeUnit.SECONDS,
                                  new SynchronousQueue<Runnable>());
}
//使用方法:
public static void main(String[] args) {
    ExecutorService executorService = Executors.newCachedThreadPool();
    for (int i = 0; i < 10; i++) {
        final int index = i;
        executorService.execute(new Runnable() {
            @Override
            public void run() {
                log.info("task:{}", index);
            }
        });
    }
    executorService.shutdown();
}

值得注意的一點是,newCachedThreadPool的返回值是ExecutorService型別,該型別只包含基礎的執行緒池方法,但卻不包含執行緒監控相關方法,因此在使用返回值為ExecutorService的執行緒池型別建立新執行緒時要考慮到具體情況。
這裡寫圖片描述

  • 2、newFixedThreadPool
    定長執行緒池,可以執行緒現成的最大併發數,超出在佇列等待
//原始碼:
public static ExecutorService newFixedThreadPool(int nThreads) {
    return new ThreadPoolExecutor(nThreads, nThreads,
                                  0L, TimeUnit.MILLISECONDS,
                                  new LinkedBlockingQueue<Runnable>());
}
//使用方法:
public static void main(String[] args) {
    ExecutorService executorService = Executors.newFixedThreadPool(3);
    for (int i = 0; i < 10; i++) {
        final int index = i;
        executorService.execute(new Runnable() {
            @Override
            public void run() {
                log.info("task:{}", index);
            }
        });
    }
    executorService.shutdown();
}
  • 3、newSingleThreadExecutor
    單執行緒化的執行緒池,用唯一的一個共用執行緒執行任務,保證所有任務按指定順序執行(FIFO、優先順序…)
//原始碼
public static ExecutorService newSingleThreadExecutor() {
    return new FinalizableDelegatedExecutorService
        (new ThreadPoolExecutor(1, 1,
                                0L, TimeUnit.MILLISECONDS,
                                new LinkedBlockingQueue<Runnable>()));
}
//使用方法:
public static void main(String[] args) {
    ExecutorService executorService = Executors.newSingleThreadExecutor();
    for (int i = 0; i < 10; i++) {
        final int index = i;
        executorService.execute(new Runnable() {
            @Override
            public void run() {
                log.info("task:{}", index);
            }
        });
    }
    executorService.shutdown();
}
  • 4、newScheduledThreadPool
    定長執行緒池,支援定時和週期任務執行
//原始碼:
public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize) {
    return new ScheduledThreadPoolExecutor(corePoolSize);
}
public ScheduledThreadPoolExecutor(int corePoolSize) {
    super(corePoolSize, Integer.MAX_VALUE, 0, NANOSECONDS,//此處super指的是ThreadPoolExecutor
          new DelayedWorkQueue());
}
//基礎使用方法:
public static void main(String[] args) {
    ScheduledExecutorService executorService = Executors.newScheduledThreadPool(1);
    executorService.schedule(new Runnable() {
        @Override
        public void run() {
            log.warn("schedule run");
        }
    }, 3, TimeUnit.SECONDS);//延遲3秒執行
    executorService.shutdown();
}

ScheduledExecutorService提供了三種方法可以使用:
這裡寫圖片描述
scheduleAtFixedRate:以指定的速率執行任務
scheduleWithFixedDelay:以指定的延遲執行任務
舉例:

executorService.scheduleAtFixedRate(new Runnable() {
    @Override
    public void run() {
        log.warn("schedule run");
    }
}, 1, 3, TimeUnit.SECONDS);//延遲一秒後每隔3秒執行

小擴充套件:延遲執行任務的操作,java中還有Timer類同樣可以實現

Timer timer = new Timer();
timer.schedule(new TimerTask() {
    @Override
    public void run() {
        log.warn("timer run");
    }
}, new Date(), 5 * 1000);

相關推薦

實戰·併發探索執行 Executor

特別感謝:慕課網jimin老師的《Java併發程式設計與高併發解決方案》課程,以下知識點多數來自老師的課程內容。 jimin老師課程地址:Java併發程式設計與高併發解決方案 new Thread的弊端 每次new Thread 新建物件,效能

實戰·併發探索併發容器J.U.C -- AQS元件 鎖ReentrantLock、ReentrantReadWriteLock、StempedLock

特別感謝:慕課網jimin老師的《Java併發程式設計與高併發解決方案》課程,以下知識點多數來自老師的課程內容。 jimin老師課程地址:Java併發程式設計與高併發解決方案 ReentrantLock java中有兩類鎖,一類是Synchron

實戰·併發探索併發容器 J.U.C

特別感謝:慕課網jimin老師的《Java併發程式設計與高併發解決方案》課程,以下知識點多數來自老師的課程內容。 jimin老師課程地址:Java併發程式設計與高併發解決方案 概述 Java併發容器JUC是三個單詞的縮寫。是JDK下面的一個包名。

實戰·併發探索執行封閉

特別感謝:慕課網jimin老師的《Java併發程式設計與高併發解決方案》課程,以下知識點多數來自老師的課程內容。 jimin老師課程地址:Java併發程式設計與高併發解決方案 1、什麼是執行緒封閉? 它其實就是把物件封裝到一個執行緒裡,只有一個執行緒能

實戰·併發探索執行安全性-可見性-有序性

可見性 什麼是可見性? 一個執行緒對主記憶體的修改可以及時的被其他執行緒觀察到 導致共享變數線上程間不可見的原因 執行緒交叉執行 重排序結合線程交叉執行 共享變數更新後的值沒有在工作記憶體與主存間及時更新 JVM處理可見性 J

併發程式設計—— Java 執行 實現原理與原始碼深度解析

史上最清晰的執行緒池原始碼分析 鼎鼎大名的執行緒池。不需要多說!!!!! 這篇部落格深入分析 Java 中執行緒池的實現。 總覽 下圖是 java 執行緒池幾個相關類的繼承結構:    先簡單說說這個繼承結構,Executor 位於最頂層,也是最簡單的,就一個 execute(

併發程式設計—— Java 執行 實現原理與原始碼深度解析 之submit方法

在上一篇《併發程式設計(十一)—— Java 執行緒池 實現原理與原始碼深度解析(一)》中提到了執行緒池ThreadPoolExecutor的原理以及它的execute方法。這篇文章是接著上一篇文章寫的,如果你沒有閱讀上一篇文章,建議你去讀讀。本文解析ThreadPoolExecutor#submit。  

java併發程式設計執行

待續...package com.dason.juc2; import java.util.ArrayList; import java.util.List; import java.util.concurrent.Callable; import java.util.co

Java併發程式設計Executor框架

Java中的執行緒既是工作單元,也是執行單元。工作單元包括Runnable和Callable,而執行單元是由Executor框架支援。 1. Executor框架簡介 1.1 Executor框架的兩級排程模型 在HotSpot VM的執行緒模型中,Java執行緒(java.la

Java併發程式設計Java中執行

在開發過程中,合理地使用執行緒池能夠帶來3個好處。 降低資源消耗。通過重複利用已建立的執行緒降低執行緒建立和銷燬造成的消耗。 提高響應速度。當任務到達時,任務可以不需要等到執行緒建立就能立即執行。 提高執行緒的可管理性。執行緒是稀缺資源,如果無限制地建立

Java併發執行實現原理 Java併發阻塞佇列BlockingQueue Java併發阻塞佇列BlockingQueue Java併發程式設計執行的使用

一、總覽 執行緒池類ThreadPoolExecutor的相關類需要先了解:  (圖片來自:https://javadoop.com/post/java-thread-pool#%E6%80%BB%E8%A7%88) Executor:位於最頂層,只有一個 execute(Runnab

Java併發執行實現原理

Java併發(二十一):執行緒池實現原理 一、總覽 執行緒池類ThreadPoolExecutor的相關類需要先了解:  (圖片來自:https://javadoop.com/post/java-thread-pool#%E6%80%BB%E8%A7%88) E

併發執行的介紹及使用

單執行緒就不說了因為簡單,並且 在實際的生產環境中一般必須來說 執行緒資源都是由執行緒池提供執行緒資源的。 執行緒池的好處 重用存在的執行緒,減少物件建立、消亡的開銷,效能好 可有效控制最大併發執行緒數,提高系統資源利用率,同時可以避免過多資源競爭,避免阻塞。 提供定時執行、定期執行、單執行緒、併發數控制等

【Python3.6爬蟲學習記錄】執行爬蟲模板總結

前言:這幾天忙活的做個網頁玩玩,網上也沒有教程。買個域名又得解析,又得備案,真是麻煩,覺得一個簡單的HTML網頁應該用不到那麼麻煩吧。 昨天又看了幾個關於多執行緒爬蟲的例子,覺得很好,提煉出來,總結幾

2017.4.26 --Java 併發秒殺API

Java高併發秒殺API系列(一)                  -----------------業務分析及Dao層 第一章 課程介紹 1.1 內容介紹及業務分析 (1)課程內容 1 SSM框架的整合使用 2 秒殺類系統需求理解和實現 3 常用技術解決高併發問題 (

-java併發秒殺api之併發優化-總結

1.架構優化 2.spring宣告式事務 宣告式事務:http://www.open-open.com/lib/view/open1414310646012.html 配置並使用Spring宣告式事務 在spring-service.xml中新增上配置事務管理器 <

Python3《機器學習實戰》學習筆記線性迴歸提高篇之樂玩具套件二手價預測

一、前言 本篇文章講解線性迴歸的縮減方法,嶺迴歸以及逐步線性迴歸,同時熟悉sklearn的嶺迴歸使用方法,對樂高玩具套件的二手價格做出預測。 二、嶺迴歸 如果資料的特徵比樣本點還多應該怎麼辦?很顯然,此時我們不能再使用上文的方法進行計算了,因為矩陣X不是滿秩矩

Android項目實戰TextView顯示html樣式的文字

sta ref RR per 使用 一個 title name Go 原文:Android項目實戰(十四):TextView顯示html樣式的文字項目需求: TextView顯示一段文字,格式為:白雪公主(姓名,字數不確定)向您發來了2(消息個數,不確定)條消息 這段文

機器學習筆記TensorFlow實戰經典卷積神經網路AlexNet

1 - 引言 2012年,Imagenet比賽冠軍的model——Alexnet [2](以第一作者alex命名)。這個網路算是一個具有突破性意義的模型 首先它證明了CNN在複雜模型下的有效性,然後GPU實現使得訓練在可接受的時間範圍內得到結果,讓之後的網路模型構建變得更加複雜,並且通過

Java Executor併發框架建立執行的核心引數的解釋

private final BlockingQueue<Runnable> workQueue; // 任務阻塞佇列 private final ReentrantLock mainLock = new ReentrantLock(); // 互斥鎖 privat