1. 程式人生 > >oracle 處理大資料量問題

oracle 處理大資料量問題

1. 採用高速的儲存裝置,提高讀寫能力,如:EMC 和NetApp,

2. 假如tab1表中的沒有資料的話 
DROP   TABLE   TAB1;
CREATE   TABLE   TAB1   AS   SELECT   *   FROM   TAB2;
然後在建立索引

3. 用Hint 提示減少操作時間

    INSERT   /*+Append*/   INTO     tab1
                SELECT   *   FROM   tab2;

4. 採用不寫日誌及使用Hint提示減少資料操作的時間。

建議方案是先修改表為不寫日誌:
sql> alter   table   table_name   NOLOGGING;

插入資料:

INSERT   /*+Append*/   INTO     tab1
      SELECT   *   FROM   tab2;

插入完資料後,再修改表寫日誌:
sql> alter   table   table_name   LOGGING;

這裡的區別就在於如果插入資料的同時又寫日誌,尤其是大資料量的insert操作,需要耗費較長的時間。

5. 用EXP/IMP 處理大量資料

(1)給當前的兩個表分別改名
alter   table   tab1   rename   to   tab11;
alter   table   tab2   rename   to   tab1;
(2)匯出改名前的tab2
exp   user/

[email protected]   file=...   log=...   tables=(tab1)
(3)把名字改回來
alter   table   tab1   rename   to   tab2;
alter   table   tab11   rename   to   tab1;
(4)匯入資料
imp   user/[email protected]   file=...   log=...   fromuser=user   touser=user   tables=(tab1)

裝載:http://blog.csdn.net/tianlesoftware/article/details/4969691#comments

相關推薦

oracle 處理料量問題

1. 採用高速的儲存裝置,提高讀寫能力,如:EMC 和NetApp, 2. 假如tab1表中的沒有資料的話  DROP   TABLE   TAB1; CREATE   TABLE   TAB1   AS   SELECT   *   FROM   TAB2; 然後在建立索引 3. 用Hint 提示減

C#使用NPOI處理料量EXCEl2007

           日常在做專案的時候,往往不能單單使用web系統,往往要結合第三方辦公軟體共同來完成相關的任務,比如excel,但是excel2003和excel2007有很大的不同, excel2003只能儲存65536行資料,而excel2007能儲存100多萬行資

[Sw] 使用 Swoole Server task 處理料量非同步任務時注意

  關於 Buffered Query 和 Unbuffered Query:http://www.php.net/manual/zh/mysqlinfo.concepts.buffering.php 對於結果集小的查詢,一般就 Buffered Query 一次取回; 對於結果集很大的查詢,

採用Kettle分頁處理料量抽取任務

需求: 將Oracle資料庫中某張表歷史資料匯入MySQL的一張表裡面。 源表(Oracle):table1 目標表(MySQL):table2 資料量:20,000,000         思路: 由於伺服器記憶體

Oracle查詢料量後匯出到Excle檔案的經驗

手頭上有個報表任務,執行SQL查詢指令碼近1個小時後,得到60多萬條查詢記錄(匯出為Excel檔案後,有三四十兆位元組大小)。先後嘗試了以下幾種辦法以將查詢結果匯出到Excel檔案:1. 預設匯出選項(Excel .xls檔案格式)——匯出中途,報out of memory錯

ArcSDE for Oracle料量執行建立統計資訊(Analyze)耗時長的問題

Article ID:42983Software: ArcSDE 10.1, 10.2, 10.2.1, 10.2.2 ArcGIS for Desktop Advanced 10.1, 10.2, 10.2.1, 10.2.2, 10.1 SP1, 10.3 ArcGIS

執行緒池,處理高併發問題,處理料量的方法

執行緒池個人認為,執行緒池的作用就是限制系統中執行執行緒的數量,避免伺服器超負荷;減少建立和銷燬執行緒的次數,從而減少了一些開銷。設計一個執行緒池單例,在內部建立指定數目的執行緒,並用一個執行緒空閒隊列表示可分配執行緒。注:還可以使用兩個靜態成員變數的方法限定最大執行緒數量。

Qt5中表格處理料量

https://www.cnblogs.com/foohack/p/7531446.html在Qt中如果是普通專案,GUI處理展現的資料量不大,一般用QTableWidget,QTreeWidget這樣的控制元件就滿足了,但是如果資料量行數達到了幾萬行,那麼Widget的展示

解決jmeter 處理料量結果返回導致jmeter卡死的問題

故事背景: 呼叫某個查詢介面,一次性返回200多條記錄,總量有400k+,返回的報文中一直報Responsetoo large to be displayed. Size: 412152 > 204800,而且每次點選檢視“察看結果樹”後會導致jmeter卡死, 解

記一次料量處理效能調優的過程總結

一、背景介紹 1、系統的架構是spring+mybaties+oracle。 2、系統處理的資料量在五十萬到百萬級之間,採用了kafka進行分散式處理,主要功能和要優化的模組在資料清算和資料匯出。 二、可優化點介紹 1、kafka—分散式訂閱-釋出訊息系統 kafka是一款

料量 與 UI互動時的處理 總結與心得

【以下均在主執行緒中操作時】1、UI直接操作,資料量較大時,直接使用UI會非常慢2、資料驅動操作,資料量較大時,資料與UI的互動效率相比“1”提升明顯總結:但以上這兩種操作  都會“較長時間”佔用主執行緒,導致UI假死現象【解決辦法,以下兩點並用】1、非同步,使用子執行緒處理耗時業務邏輯,避免因主執

Oracle 料量查詢優化

前言:平常寫的SQL可能主要以實現查詢出結果為主,但如果資料量一大,就會突出SQL查詢語句優化的效能獨特之處.一般的資料庫設計都會建索引查詢,這樣較全盤掃描查詢的確快了不少.下面總結下SQL查詢語句的幾個優化效率的地方,經驗有限,難免有不足.    1.對查詢進行優化,應儘

用Pandas處理料量

在一些比賽中,經常會出現原始訓練資料就有十幾G大小,正常的個人電腦記憶體根本不足以容納這麼大資料量。查到可以使用Pandas將原資料集劃分成小塊儲存。以下內容轉載自知乎。 user_feat = ['user_id','user_gender_id','user_age_level','

料量任務處理

Java 使用執行緒池執行大資料量統計任務: https://blog.csdn.net/difffate/article/details/77149901   大資料多執行緒高效批量處理: https://my.oschina.net/dyyweb/blog/524082

料量處理思路

  最近要用程式對百萬級別的資料量進行處理,綜合性能和程式碼執行時間,來考慮如何書寫高質量的程式碼.   首先就是讀資料的問題,由於資料量比較大,我們可以考慮根據唯一的主鍵id來取資料,這樣速度比較快,而且數量不能太大,讀取Mysql資料庫,資料超過3萬,速度就下降很明顯了

Java料量(多執行緒)分段分批處理

分段處理主類 package pers.zuo.component.piecewise; import java.util.ArrayList; import java.util.List; import java.util.concurrent.C

料量下高併發同步的講解(高併發的瓶頸-需要處理的內容)

對於我們開發的網站,如果網站的訪問量非常大的話,那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題, 但話又說回來了,既然逃避不掉,那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。    為了更好的理解併發和同步,我們需要先

[算法系列之十]料量處理利器:布隆過濾器

【引言】 在日常生活中,包括在設計計算機軟體時,我們經常要判斷一個元素是否在一個集合中。比如在字處理軟體中,需要檢查一個英語單詞是否拼寫正確(也就是要判斷 它是否在已知的字典中);在 FBI,一個嫌疑人的名字是否已經在嫌疑名單上;在網路爬蟲裡,一個網址是否被訪問過等等。最直

料量,海量資料處理方法總結

大資料量的問題是很多面試筆試中經常出現的問題,比如baidu google 騰訊這樣的一些涉及到海量資料的公司經常會問到。 下面的方法是我對海量資料的處理方法進行了一個一般性的總結,當然這些方法可能並不能完全覆蓋所有的問題,但是這樣的一些方法也基本

mysql 資料庫處理高併發、 料量 .日常軍規

?6?1 來自一線的實戰經驗?6?1 每一軍規背後都是血淋淋教訓?6?1 丌要華麗,叧要實用?6?1 若有一條讓你有所受益,慰矣?6?1 主要針對資料庫開發人員總是在災難發生後,才想起容災的重要性;總是在吃過虧後,才記得曾經有人提醒過。目錄一.核心軍規(5)二.欄位類軍規(6)三.索引類軍規(5)四.SQL類