2. 程式人生 > >透過妹子看本質：爬蟲小問題，併發大學問-2併發症要治，還要有Future

透過妹子看本質：爬蟲小問題，併發大學問-2併發症要治，還要有Future

阿新 • • 發佈：2019-06-12

     上一篇我們用jsoup解決了爬蟲解析的問題，但卻留下了下載圖片很慢，效率低下的問題。根據日誌的觀察，可以看到圖片都是一張一張的下，這種速度怎麼能跟的上我閱遍天下美女的雄心，於是，多執行緒下圖必須要上場了。

    springboot配置多執行緒其實很簡單，首先是要配好執行緒池，這個需要一個config類來配置：

import java.util.concurrent.Executor;
import java.util.concurrent.ThreadPoolExecutor;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

@EnableAsync
@Configuration
class TaskPoolConfig {

	@Bean("taskExecutor")
	public Executor taskExecutor() {
		ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
		//設定核心執行緒數
		executor.setCorePoolSize(10);
		//設定最大執行緒數
		executor.setMaxPoolSize(20);
		//執行緒池所使用的緩衝佇列
		executor.setQueueCapacity(200);
		 // 設定執行緒活躍時間（秒）
		executor.setKeepAliveSeconds(60);
	    //  執行緒名稱字首
		executor.setThreadNamePrefix("taskExecutor-");
		executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
		// 等待所有任務結束後再關閉執行緒池
		executor.setWaitForTasksToCompleteOnShutdown(true);
		// 等待時間 （預設為0，此時立即停止），並沒等待xx秒後強制停止
		executor.setAwaitTerminationSeconds(60);
		return executor;
	}
}

    @Configuration註解表示這是一個配置類，效果等同於xml、properties、yml之類的配置檔案，不過用類可以更靈活一下。@EnableAsync則說明這個工程需要用多執行緒，否則即使後面掛了非同步的註解，也是不生效的。另外很多教程要求@EnableAsync掛在SpringBootApplication類上面，其實不是必須的，在配置類加了@EnableAsync，多執行緒就自動生效了。具體執行緒池的具體引數程式碼上都註釋了，就不詳述了。

    配置完成後，我們自然要對下載圖片的controller下手了，馬上配置下載圖片的類為非同步類，開始多執行緒下載。

downImages()方法是我工具類DownloadUtils的一個static 方法，我把@Async註解加上去，表示這是一個非同步方法，會多執行緒執行。我然後在controller裡面呼叫，想著電腦飛快的下載妹子圖了。但一執行，我錯了，圖片仍然在一張一張按順序緩慢的下載：

開始下載
2019-06-12 12:11:56.854  INFO 13404 --- [nio-8080-exec-1] com.skyblue.crawel.utils.DownloadUtils   : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_07.jpg
2019-06-12 12:12:00.453  INFO 13404 --- [nio-8080-exec-1] com.skyblue.crawel.utils.DownloadUtils   : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_08.jpg
2019-06-12 12:12:06.620  INFO 13404 --- [nio-8080-exec-1] com.skyblue.crawel.utils.DownloadUtils   : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_01.jpg
2019-06-12 12:12:17.294  INFO 13404 --- [nio-8080-exec-1] com.skyblue.crawel.utils.DownloadUtils   : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_02.jpg

日誌中[nio-8080-exec-1]就是主執行緒的名稱，顯然多執行緒沒起作用，難道是我的執行緒池沒起作用，我有向上翻了翻專案啟動的日誌，赫然發現：

2019-06-12 12:11:46.222  INFO 13404 --- [           main] o.s.s.concurrent.ThreadPoolTaskExecutor  : Initializing ExecutorService 'taskExecutor'

在專案啟動完成前，執行緒池taskExecutor就已經初始化完成了，可見執行緒池是已經建好了，但卻沒用上。這是為啥呢?

併發症第一條：static 方法使用@Async註解無效

既然static 方法不能用，那麼我搞個非靜態方法呼叫呼叫static方法，然後我在這個非靜態方法上面使用@Async不就好了，我真是聰明機智。

@Async
		private void downloadMeizitu(String url) {
			......
					DownloadUtils.downImages(filePath, imgSrc, map);
            ......
		}

我繼續憧憬著能夠實現快速下圖，滿含希望的又開始了爬蟲行動。

一陣尷尬的沉默....

我又失敗了，日誌中仍然是主執行緒在慢悠悠的下載著圖片。

併發症第二條：非同步方法和呼叫非同步方法不能在同一個類裡面

好吧，既然這麼多規矩，我只好另外建了一個service類來申明非同步方法，然後讓controller呼叫

@Component
public class DownloadAsyncService {
	......

	@Async
	public void downloadImage(String filePath, String imgUrl, Map<String, String> requestPropMap) {
		 DownloadUtils.downImages(filePath, imgUrl, requestPropMap);
	}
    ......
@RestController
@RequestMapping("/crawler")
public class CrawlerController {

......

					String imgSrc = element.attr("src");
					Map<String,String> map = new HashMap<String,String>();
					map.put("Referer", url);
					map.put("User-Agent", "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1");
					downloadAsyncService.downloadImage(filePath, imgSrc,map);//多執行緒下圖
					logger.info(imgSrc);

......

這次我懷著忐忑的心情開始了下載......

2019-06-12 14:33:12.838  INFO 7384 --- [taskExecutor-10] c.s.crawel.service.DownloadAsyncService  : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_05.jpg
2019-06-12 14:33:12.838  INFO 7384 --- [taskExecutor-10] c.s.crawel.service.DownloadAsyncService  : E:/youtube/images/zhainanfuli/21483
2019-06-12 14:33:17.674  INFO 7384 --- [ taskExecutor-3] c.s.crawel.service.DownloadAsyncService  : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_01.jpg
2019-06-12 14:33:17.675  INFO 7384 --- [ taskExecutor-3] c.s.crawel.service.DownloadAsyncService  : E:/youtube/images/zhainanfuli/21483
2019-06-12 14:33:18.892  INFO 7384 --- [ taskExecutor-2] c.s.crawel.service.DownloadAsyncService  : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_08.jpg
2019-06-12 14:33:18.892  INFO 7384 --- [ taskExecutor-2] c.s.crawel.service.DownloadAsyncService  : E:/youtube/images/zhainanfuli/21483
2019-06-12 14:33:19.324  INFO 7384 --- [ taskExecutor-7] c.s.crawel.service.DownloadAsyncService  : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_10.jpg
2019-06-12 14:33:19.324  INFO 7384 --- [ taskExecutor-7] c.s.crawel.service.DownloadAsyncService  : E:/youtube/images/zhainanfuli/21483
2019-06-12 14:33:21.263  INFO 7384 --- [ taskExecutor-9] c.s.crawel.service.DownloadAsyncService  : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_04.jpg
2019-06-12 14:33:21.263  INFO 7384 --- [ taskExecutor-9] c.s.crawel.service.DownloadAsyncService  : E:/youtube/images/zhainanfuli/21483
2019-06-12 14:33:21.575  INFO 7384 --- [ taskExecutor-8] c.s.crawel.service.DownloadAsyncService  : http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_09.jpg

看這個日誌就知道，[taskExecutor-x]，10個執行緒已經撒開了手腳各自下圖去了，至此，多執行緒下圖的問題終於解決了。

但我不是一個容易滿足的人否則幹嘛要下這麼多妹子圖，這種只求執行緒跑，不跟蹤執行緒結果的事不是我這種有始有終，負責人的人會幹出來的，我為了證明我的人品看這種圖的人有什麼人品，我決定要跟蹤下執行緒的結果，什麼時候結束，也方便以後執行緒結束時知道執行緒的執行時間，後續事件觸發啥的。於是，我又掏出了Future。

Future是對於具體的Runnable或者Callable任務的執行結果進行取消、查詢是否完成、獲取結果的介面。必要時可以通過get方法獲取執行結果，該方法會阻塞直到任務返回結果。說白了就是對多執行緒任務的監控和資料傳輸，具體作用有三點：

  1. 判斷任務是否完成；
  2. 能夠中斷任務；
  3. 能夠獲取任務執行結果

中斷任務我們用不上，我們需要判斷圖片啥時候完成，另外還需要知道圖片下完的時間是多少，讓我們繼續擼程式碼：

@Async
	public Future<DownloadFile> downloadImage(DownloadFile downloadFile,String filePath, String imgUrl, Map<String, String> requestPropMap) {
		 logger.info("====="+filePath);
		 DownloadUtils.downImages(filePath, imgUrl, requestPropMap);
		 downloadFile.setEndDate(new Date());
		 return new AsyncResult<DownloadFile> (downloadFile);
	}

DownloadFile是我記錄下載資訊的，先不用管。首先我把下載圖片的一步方法加上了返回值，Future型別，返回一個時間。然後在controller裡面取出futrue的結果，把結束時間列印到日誌裡面：

Future<Date> future = downloadAsyncService.downloadImage(filePath, imgSrc,map);//多執行緒下圖
					try {
						logger.info(DateUtils.dateTimeDetail(future.get()));
					} catch (InterruptedException e) {
						// TODO Auto-generated catch block
						e.printStackTrace();
					} catch (ExecutionException e) {
						// TODO Auto-generated catch block
						e.printStackTrace();
					}

我一執行，結果多執行緒又不靈了，一夜回到解放前，下圖又開始單執行緒執行了。這是為啥呢，我開啟Future.get()的註釋，發現寫著：

Waits if necessary for the computation to complete, and thenretrieves its result.

原來取值的時候會等待計算結果，直到計算完成返回結果值，這樣的話多執行緒就等成了單執行緒了。

併發症第三條：FUTURE.GET()會阻塞多執行緒的執行，直到當前執行緒結果返回為止。

那怎麼辦呢，正確的使用方法應該是這樣的，先建立一個物件存放執行緒需要儲存的內容，就是上面出現過的DownloadFile：

public class DownloadFile {
	String fileName;//下載的檔名
	Date beginDate;//開始下載時間
	Date endDate;//結束下載時間

    ......省略get，set

	/**下載的時長（單位是毫秒）
	 * @return
	 */
	public long getDuration() {
		return (endDate.getTime()-beginDate.getTime());
	}

獲取future值並展現出來 

private void downloadMeizitu(String url) {
			......
            //用一個list存放future物件
				List<Future<DownloadFile>> list = new ArrayList<Future<DownloadFile>>();

				for (Element element : imgs) {
					......
					Future<DownloadFile> future = downloadAsyncService.downloadImage(downloadFile,filePath, imgSrc,map);//多執行緒下圖
					list.add(future);
				}
                //迴圈讀取future的內容
				for(Future<DownloadFile> future:list) {
					logger.info("size=================="+String.valueOf(list.size()));
					while(true) {
						if(future.isDone()) {//執行緒執行完畢
							try {
								logger.info(future.get().getFileName()+"耗時"+future.get().getDuration()+"毫秒");
							} catch (InterruptedException e) {
								// TODO Auto-generated catch block
								e.printStackTrace();
							} catch (ExecutionException e) {
								// TODO Auto-generated catch block
								e.printStackTrace();
							}
							break;
						}
					}
				}
				......

 

這樣，執行完畢後就能夠獲取到每張圖片的下載時間了：

2019-06-12 17:57:43.559  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時1251毫秒
2019-06-12 17:57:43.568  INFO 5476 --- [ taskExecutor-2] c.s.crawel.service.DownloadAsyncService  : *****http://ac.meijiecao.net/ac/img/znb/meizitu/20180123_meizitu_02.jpg
2019-06-12 17:57:43.569  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時1253毫秒
2019-06-12 17:57:43.570  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時1092毫秒
2019-06-12 17:57:43.571  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時906毫秒
2019-06-12 17:57:43.571  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時1078毫秒
2019-06-12 17:57:43.737  INFO 5476 --- [ taskExecutor-6] c.s.crawel.service.DownloadAsyncService  : *****http://ac.meijiecao.net/ac/img/znb/meizitu/20180123_meizitu_06.jpg
2019-06-12 17:57:43.738  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時1421毫秒
2019-06-12 17:57:43.872  INFO 5476 --- [ taskExecutor-7] c.s.crawel.service.DownloadAsyncService  : *****http://ac.meijiecao.net/ac/img/znb/meizitu/20180123_meizitu_07.jpg
2019-06-12 17:57:43.873  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時1556毫秒
2019-06-12 17:57:43.873  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時914毫秒
2019-06-12 17:57:44.055  INFO 5476 --- [ taskExecutor-9] c.s.crawel.service.DownloadAsyncService  : *****http://ac.meijiecao.net/ac/img/znb/meizitu/20180123_meizitu_09.jpg
2019-06-12 17:57:44.055  INFO 5476 --- [nio-8080-exec-1] c.skyblue.crawel.web.CrawlerController   : E:/youtube/images/zhainanfuli/17261耗時1739毫秒

由於多執行緒的原因，下載完成的耗時日誌內容和下載的內容混雜在了一起，這也是多執行緒正在執行的一個體現。

至此，我們不僅用多執行緒下了圖片，而且還用future傳遞了多執行緒的內容。但多執行緒是個很複雜的事，超時怎麼辦，執行緒的監控怎麼處理，都需要進一步研究。但我畢竟是個下妹子圖的，對我要求不能太高，這一章就講到這，那些高階內容等我在看妹子圖的間隙再寫吧。

原始碼地

相關推薦

透過妹子看本質：爬蟲小問題，併發大學問-2併發症要治，還要有Future

     上一篇我們用jsoup解決了爬蟲解析的問題，但卻留下了下載圖片很慢，效率低下的問題。根據日

透過現象看本質：Java類動態載入和熱替換

摘要：本文主要介紹類載入器、自定義類載入器及類的載入和解除安裝等內容，並舉例介紹了Java類的熱替換。 最近，遇到了兩個和Java類的載入和解除安裝相關的問題： 1) 是一道關於Java的判斷題：一個類被首次載入後，會長期留駐JVM，直到JVM退出。這個說法，是不是正確的？ 2) 在開發的一個整合平臺中，需要

學會透過現象看本質，即使現象有時…

最近看到一個汽車對冰淇淋過敏的小故事（原文在此），轉述如下： 　　某汽車公司收到投訴信，使用者抱怨說他每晚都從家裡開車去商店買冰淇淋。如果買的是香草冰淇淋，則回家時汽車就無法發動；如果買其它口味的冰淇淋，則汽車可以正常發動。天天如此。該使用者懷疑這汽車是否對香草冰淇淋過敏。 　　汽車公司的頭頭覺得這太過詭異，

21個小故事、透過現象看本質

引導語：活躍的思維是決定一個人在社會中的成功與否，有時一件事看似很簡單，簡單的讓人以為選擇只有一種。其實不然，對事不同的選擇在左右著你的生活現狀，每件事都有多方面，要看你怎麼來對待。來看看這21個故事吧，試試你的思維是否已經具備“活躍”二字！21個故事，成功的思維方式　　1

外觀模式——透過現象看本質

外觀模式用於為複雜系統建立一個簡單清晰的介面。 當我們需要使用到子系統的程式碼時，為了避免過去深入地呼叫子系統程式碼而導致後期程式碼難以維護，減低程式碼和子系統的耦合性，我們需要在程式碼和子系統中引入一個入口。實際上就是在子系統程式碼進行一次封裝，那麼我們在呼

SQL備份失敗：載入的介質已格式化為2個介質簇，單根據指定的備份裝置，應支援三個介質簇

當我們備份某一個數據庫是，有時會出現“載入的介質已格式化為2個介質簇，單根據指定的備份裝置，應支援三個介質簇”這樣的錯誤。 這句話的意思是，我的C:\Program Files (x86)\Microsoft SQL Server\MSSQL10_50.MSSQLSERVER\MSSQL\

面試：快速判斷一個數是否是2的冪次方，若是，並判斷出來是多少次方！

/********************************************************************** 將2的冪次方寫成二進位制形式後，很容易就會發現有一個特點： 二進位制中只有一個1，並且1後面跟了n個0； 因此問題可以轉化為判斷1後

看女程式設計師是怎麼坑大師兄的, 網友: 真的慘，笑死我了!

  我有一個師兄，一個很神奇的師兄，之所以說他神奇是因為他真的很神奇，師兄是個典型的學霸，本科跟我一樣是學土木工程的，後來考研又跨專業考到了計算機，畢業後成為一名程式設計師。他說你知道我為什麼做程式設計師麼？因為我可以隨心所欲的開發我自己像出來的東西。這讓我有一種征服世界的感覺。

企業如何做戰略規劃------5看3定是不是套路，反正大企業就那麼做的，。。。。。。。

戰略規劃的5看3定，離開企業，閒著沒事，今天才想起來總結一下，供業界人士參考，增加一點人氣，如果您喜歡，順便點個贊，不求你的財，只要你開心就好。我覺得放到肚子裡的乾貨還不如拿出來分享一下，你開心就好。我的微信Leemboy710303 ，歡迎打擾。 這個圖是網上的，僅供參考

資料科學 IPython 筆記本 9.6 聚合：最小、最大和之間的任何東西

9.6 聚合：最小、最大和之間的任何東西 本節是《Python 資料科學手冊》（Python Data Science Handbook）的摘錄。 譯者：飛龍 協議：CC BY-NC-SA 4.0 通常，當面對大量資料時，第一步是計算相關資料的彙總統計資訊。

1月28日周日，更新ruby到2.5.0版，rvm更新。

一課 比較 全棧 body 安裝 auto 文檔 code post 在學習Array的方法的時候，發現文檔concat方法可以進行多個數組的添加，而我的不行，猜測是ruby版本沒有更新。 查詢2.31ruby版本的concat方法，果然和2.5版本的不一樣。 於是準備更

大資料領域這三位頂尖科學家，全球大資料工程師都要感激他們

全球 大資料是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大資料處理相關的職業，通過對資料的挖掘分析來影響企業的商業決策。這群人在國外被叫做資料科學家（Data Scientist），這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出，他們後來分別成為了領英（

作為產品經理，應該掌握1-2套軟體開發，專案工作方法論

軟體開發方法論有些人可能覺得枯燥無味！也有些人覺得這根本不在產品經理職責範圍內，應該屬於專案經理的活。看是有些道理又不是很有道理。因為現實中的情況往往是殘酷的……不懂專案管理的程式設計師，怎麼能做好全能型產品經理？不懂專案管理的產品經理如何把握產品節奏？如何把所

極大似然估計，最大後驗概率估計(MAP)，貝葉斯估計

1、貝葉斯公式 三種引數估計方法都和貝葉斯公式有關，因此首先從分析貝葉斯公式入手： 貝葉斯公式可以表達為：   posterior：通過樣本X得到引數的概率 likehood：通過引數得到樣本X的概率 prior：引數的先驗概率，一般是根據人的先驗知識來得出的。比如人們傾

求一個數組中重複元素出現最多值，最大的元素及出現次數，次數相同時，取最大值，優先考慮次數

#include <iostream> #include <string> #include <map> using namespace std; void maxNumTimes(int a[], int len, int b[])

密碼學，有限域GF(2^8)乘法計算，不可約多項式為P(x)=x^8+x^4+x^3+x+1

理論基礎： C(x)=A(x)*B(x) mod P(x) 二進位制數轉換為多項式:A(a7,a6,a5,a4,a3,a2,a1,a0)==>A(X)=a7x7+a6x6+a5x5+a4x4+

Python爬蟲小實踐：尋找失蹤人口，爬取失蹤兒童信息並寫成csv文件，方便存入數據庫

python tor enc mini 執行 gem view 獲取 但是 前兩天有人私信我，讓我爬這個網站，http://bbs.baobeihuijia.com/forum-191-1.html上的失蹤兒童信息，準備根據失蹤兒童的失蹤時的地理位置來更好的尋找失蹤兒童，這

一道JS面試題所引發的"血案"，透過現象尋本質，再從本質看現象

覺得本人寫的不算很爛的話，可以登入關注一下我的GitHub部落格，新手寫東西寫的不好之處，還望見諒，畢竟水平有限，寫東西只為交流提高，一起學習，還望大神多加指點，指出紕漏，和提出寶貴的意見，部落格會堅持寫下去。 今天同學去面試，做了兩道面試題,全部做錯了，發過來給我看,我一眼就看出來了，因為這種題我做過，至

老闆必看：1.初創業團隊沒有激情，咋辦？ 2.小股東的選擇

內容摘要：本文有兩個來自真實情況的案例，因為涉及到“私隱”，部分內容經過處理。兩個案例分別是：1）新創業團隊員工積極性差的問題；2）小股東在兩大股東的鬥法中的取捨。案例1：新創業團隊沒有什麼激情，咋辦？問題描述：某新創業公司，員工人數才十來二十人（含創始人和合夥人）。公司的其

Python爬蟲小偏方：突破登錄和訪問頻率限制，多研究對方不同終端產品

strong 抓取 微信授權 分享 很多 資源 賬號 仿微信 詳細介紹 其實在抓取數據時，如果有大量的離散賬號和離散IP的話，抓取數據就問題不大了。但是老猿相信大部分的爬蟲選手們都沒有這麽多的資源，所以就會絞盡腦汁研究和各種嘗試對方的訪問控制策略，如果始終無法破局，這時就要