解決retrofit OKhttp建立大量對外連線時記憶體溢位

這個問題是這樣發生的，我的表中有一批資料，量級較大，數百萬個，它們有個地址Address欄位，標明瞭地理位置。我需要對這一批資料根據地址去百度或者高德地圖去查詢經緯度，並且儲存下來。原本是直接分頁讀取該表，每次讀取幾百條，然後一條一條去獲取經緯度並且儲存。後來發現實在太慢，一秒也就能處理個三五條。所以開啟了多執行緒，大約30個執行緒，每個執行緒處理不同id範圍的資料。此時問題出現了，每個執行緒中都有for迴圈來分頁讀取DB中的地址資料，然後每條資料都要去百度地圖請求一次，網路請求用的是retrofit，retrofit是包裝的OKHttp。

在這裡插入圖片描述

可以看到執行緒數幹到2000多時程式崩了

java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Thread.java:714) at java.util.concurrent.ThreadPoolExecutor.addWorker(ThreadPoolExecutor.java:950) at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1368) at okhttp3.ConnectionPool.put(ConnectionPool.java:153) at okhttp3.OkHttpClient $1.$

put(OkHttpClient.java:163)atokhttp3.internal.connection.StreamAllocation.findConnection(StreamAllocation.java:201)atokhttp3.internal.connection.StreamAllocation.findHealthyConnection(StreamAllocation.java:121)atokhttp3.internal.connection.StreamAllocation.newStream(StreamAllocation.java:100)atokhttp3.i

nternal.connection.ConnectInterceptor.intercept(ConnectInterceptor.java:42)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67)atokhttp3.internal.cache.CacheInterceptor.intercept(CacheInte

rceptor.java:93)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67)atokhttp3.internal.http.BridgeInterceptor.intercept(BridgeInterceptor.java:93)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RetryAndFollowUpInterceptor.intercept(RetryAndFollowUpInterceptor.java:120)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67)atcom.mindata.ecserver.global.http.RetrofitServiceBuilder.lambda1.put(OkHttpClient.java:163) at okhttp3.internal.connection.StreamAllocation.findConnection(StreamAllocation.java:201) at okhttp3.internal.connection.StreamAllocation.findHealthyConnection(StreamAllocation.java:121) at okhttp3.internal.connection.StreamAllocation.newStream(StreamAllocation.java:100) at okhttp3.internal.connection.ConnectInterceptor.intercept(ConnectInterceptor.java:42) at okhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92) at okhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67) at okhttp3.internal.cache.CacheInterceptor.intercept(CacheInterceptor.java:93) at okhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92) at okhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67) at okhttp3.internal.http.BridgeInterceptor.intercept(BridgeInterceptor.java:93) at okhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92) at okhttp3.internal.http.RetryAndFollowUpInterceptor.intercept(RetryAndFollowUpInterceptor.java:120) at okhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92) at okhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67) at com.mindata.ecserver.global.http.RetrofitServiceBuilder.lambda

1.put(OkHttpClient.java:163)atokhttp3.internal.connection.StreamAllocation.findConnection(StreamAllocation.java:201)atokhttp3.internal.connection.StreamAllocation.findHealthyConnection(StreamAllocation.java:121)atokhttp3.internal.connection.StreamAllocation.newStream(StreamAllocation.java:100)atokhttp3.internal.connection.ConnectInterceptor.intercept(ConnectInterceptor.java:42)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67)atokhttp3.internal.cache.CacheInterceptor.intercept(CacheInterceptor.java:93)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:67)atokhttp3.internal.http.BridgeInterceptor.intercept(BridgeInterceptor.java:93)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RetryAndFollowUpInterceptor.intercept(RetryAndFollowUpInterceptor.java:120)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.java:92)atokhttp3.internal.http.RealInterceptorChain.proceed(RealInterceptorChain.ja 相關推薦 .r{ margin-bottom:10px; border-bottom:1px solid #f1f1f1; padding-bottom:10px;} .r p{ color:#999; line-height:25px;} .r h5 a{ font-size:16px; line-height:25px;} .r h5 a:hover{ color:#ff6600} 解決retrofit OKhttp建立大量對外連線時記憶體溢位 這個問題是這樣發生的，我的表中有一批資料，量級較大，數百萬個，它們有個地址Address欄位，標明瞭地理位置。我需要對這一批資料根據地址去百度或者高德地圖去查詢經緯度，並且儲存下來。 原本是直接分頁讀取該表，每次讀取幾百條，然後一條一條去獲取經緯度並且儲存。後 使用pthread_create建立大量執行緒時，建立執行緒失敗，Resource temporarily unavailable的解決辦法         今天在一個測試程式中使用pthread_create建立了大量執行緒，但是如果執行緒數量增加到400後，就會出現執行緒建立失敗，perror打印出的錯誤原因是：Resource temporarily unavailable。        在網上查了下，原 解決PHP導出大量數據時設置超鏈接的問題 大量數據 由於 發現 excel文件 格式 php 文件 XML 導出 今天在做導出excel功能時，由於要導出的數據很大，所以沒有使用PHPExcel，而是使用動態生成文件流的方式來導出，這時遇到一個問題，怎麽把某個單元格的值設置為超鏈接呢。 設置單元格的值的代碼如下： 如何解決PHP裡大量資料迴圈時記憶體耗盡的問題 PHP 最近在開發一個PHP程式時遇到了下面的錯誤： PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted 錯誤資訊顯示允許的最大記憶體已經耗盡。遇到這樣的錯誤起初讓我很詫異，但轉眼一想，也不奇怪，因為我正在開發的這個程式是要 C#開啟tif檔案時記憶體溢位（System.OutOfMemoryException）解決辦法 前言 我在做一個統計圖片長和寬的軟體時遇到一個問題，本來是用的 Image img = null; img = Image.FromFile(f.FullName); w = img.Wi 利用 HandlerThread 建立一個後臺工作執行緒( AsyncTask 的缺點)，處理圖片縮放時記憶體溢位問題        HandlerThread 可以幫助建立一個擁有有效 Looper 的後臺執行緒，該 Looper 會關聯一個 Handler，而 Handler 中的 MessageQueue 會處理所有的任務。Android 中最常用的後臺技術之一就是 AsyncTa Android從伺服器取圖片向Bitmap載入時記憶體溢位問題 最近暑假在做一個APP專案，需要從伺服器取圖片。 突然就顯示 BitmapFactory.decodeStream java.lang.OutOfMemoryError 意思是記憶體溢位了，在網上搜索後已解決。現在將查到的解決方法進行整理一下，方便下次遇到時可以使用。 首先顯 mysql 匯入資料時記憶體溢位問題 用mysqldump匯出一個數據庫,其中有兩個表資料有20多W,執行匯入的時候老是保記憶體溢位,試驗了多種方法,始終不行,後來看mysql的伺服器的配置,發現裡面沒有啥設定,於是在裡面增加一個max_allowed_packet=32M配置,然後重新匯入時候沒有保錯,資料完全 解決Bug之路：記一次記憶體溢位問題的查詢 JVM記憶體溢位的問題定位一直是個比較棘手的問題，日常開發專案中出現了記憶體溢位的情況，針對這種情況，本次通過分析dump檔案，快速定位問題，實錘Bug的源頭 步驟： 1、檢視日誌檔案 伺服器記憶體溢位報警，通過檢視日誌，初步懷疑查詢的資料過多，造成記憶體溢位。 excel匯出時記憶體溢位 今天專案中匯出9000多條記錄時出現 java.lang.OutOfMemoryError: Java heap space 錯誤。 剛開始以為是用apach POI 匯出的excel資料過多會報錯，在網上查了之後才發現，別人匯出幾十萬才會出這種錯，真的是小巫見大巫了！ 於 關於Eclipse執行java程式時記憶體溢位 ECLIPSE執行java程式，系統提示OutOfMemoryError: PermGen space。 解決辦法： 設定run as --->run configuragtions--->jre標籤下的屬性VM arguments: -server -Xms5 hive中與hbase外部表join時記憶體溢位（hive處理mapjoin的優化器機制） 與hbase外部表（wizad_mdm_main）進行join出現問題： CREATE TABLE wizad_mdm_dev_lmj_edition_result as select *  from  wizad_mdm_dev_lmj_20141120 as w JOI 【Ionic2】Ionic2打包編譯時記憶體溢位問題 問題描述： 使用 ionic build android --prod 打包的時候報了記憶體溢位的錯誤 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 解決jacob呼叫word處理doc檔案的記憶體溢位問題 背景： 有個專案在系統後臺用Jacob呼叫Word程序的API做doc檔案處理。在進行壓力測試的時候，發現執行一段時間後，記憶體佔用奇高，大約7.4G。由於JVM佔用記憶體限制為2G，因此懷疑多出來的記憶體應當是Jacob洩露的。 在網路上搜索解決辦法，都是要這樣呼叫 Error：System.Data.SqlClient.SqlException: 在與 SQL Server 建立連線時出現與網路相關的或特定於例項的錯誤，請檢查遠端連線是否開啟。解決方法   Error資訊： System.Data.SqlClient.SqlException: 在與 SQL Server 建立連線時出現與網路相關的或特定於例項的錯誤。未找到或無法訪問伺服器。請驗證例項名稱是否正確並且 SQL Server 已配置為允許遠端連線  (pr Springboot 整合Websocket 註解開發之第一步瀏覽器和伺服器建立連線（解決了建立連線時404錯誤！！！！） 1、建立一個springboot專案 勾選web和websocket選項      建立完成後build.gradle檔案如下，主要是依賴得新增上（另外說明以下compile('org.springframework.boot:spring-boot-starter-w 解決sqlserver2008在與 SQL Server 建立連線時出現與網路相關的或特定於例項的錯誤。未找到或無法訪問伺服器。請驗證例項名稱是否正確並且 SQ 無法連線到 (local)。 ------------------------------ 其他資訊: 在與 SQL Server 建立連線時出現與網路相關的或特定於例項的錯誤。未找到或無法訪問伺服器。請驗證例項名稱是否正確並且 SQL Server 已配置為允許遠端連線。 【rabbitmq】解決SimpleAmqpClient建立連線時阻塞的問題 如果在單執行緒的程式使用SimpleAmqpClient-v2.4，在使用介面Channel::Create()連線到rabbitmq時，如果網路中斷或者ip埠地址不對的時候，程式就會一直阻塞在這個呼叫上，沒有返回值沒有異常提示，這種情況如果你想提示個錯誤什麼的就無能為力了 Centos遠端連線時只允許用publicKey連線的解決 一.問題情況 二.解決方法 1.直接從本地登入centos 2.在終端字元介面輸入vi etc/ssh/sshd_config vi etc/ssh/sshd_config 進入如下介面 3.找到passwordAuthentication no把no改為yes PPTP連線時常見撥號錯誤提示原因及解決辦法 相信大家在連線PPTP的時候，總會出現這樣那樣的錯誤程式碼，很令人頭疼，下面我為大家整理了一些常見的錯誤程式碼供參考：×××錯誤619解決辦法 詳解：私設IP或路由器不支援ppTp pass through，或是此IP地址是私設IP。這種情況大數多原因為客戶機連線Internet的閘道器（如家庭寬