1. 程式人生 > >HBase遷移資料方案(兩個叢集不能通訊)

HBase遷移資料方案(兩個叢集不能通訊)

兩個可以直接通訊的叢集之間很容易拷貝資料從而遷移HBase資料。

但是如果兩個叢集在不同的網路,沒法通訊呢?

今天測試了一個方案:

把某個表(table1)從叢集1遷移到叢集2(兩個叢集互相看不見),步驟如下

1、拷貝叢集1的表文件到本地磁碟 :

/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1 

2、對於檔案操作,很簡單吧,隨便你怎麼去拷貝來拷貝去

3、如果叢集2中也有對應的表文件,那麼刪除掉,然後拷貝

/app/cloud/Hadoop/bin/hadoop fs -rmr /hbase/table1  
/app/cloud/Hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1 
4、重置該表在.META.表中的分割槽資訊

bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1 
另外:

1、如果表的資料量過大呢? 那麼按照該表在HDFS中的資料夾資料來源碼天空,分批拷貝。

2、如果兩個叢集可以互相通訊呢?那麼更爽了,直接使用distcp對拷,是並行的。

相關推薦

HBase遷移資料方案叢集不能通訊

兩個可以直接通訊的叢集之間很容易拷貝資料從而遷移HBase資料。 但是如果兩個叢集在不同的網路,沒法通訊呢? 今天測試了一個方案: 把某個表(table1)從叢集1遷移到叢集2(兩個叢集互相看不見),步驟如下 1、拷貝叢集1的表文件到本地磁碟 : /app/cloud/Ha

Elasticsearch遷移資料方案不停服重建索引

背景 Elasticsearch是一個高擴充套件的開源全文搜尋和分析引擎,它允許儲存、搜尋和分析大量的資料。 ES 的索引建立之後的 mapping 結構是不能夠修改的,如果系統中的 ES 索引沒有使用別名指向真正的索引,那麼要達到增刪mapping欄位的需求,就需要對

HBase遷移資料方案1叢集不能通訊

  前一篇文章裡面介紹了 兩個可以直接通訊的叢集之間很容易拷貝資料從而遷移HBase資料。 但是如果兩個叢集在不同的網路,沒法通訊呢? 今天測試了一個方案: 把某個表(table1)從叢集1遷移到叢集2(兩個叢集互相看不見),步驟如下 1、拷貝叢集1的表文件到本地

shell 腳本創建虛擬機 並配置網卡ip地址腳本

kvm#######################腳本1:創建虛擬機kvm##########################!/bin/bashqcow2_dir=/var/lib/libvirt/imagesread -p "請輸入虛擬機號碼:" num #主機號if [ $n

Deduplication on a Linked List測試點

#include <stdio.h> #include <stdlib.h> typedef int ElementType; typedef struct LinkedNode *LinkedList; struct LinkedNode {

個數的生成範圍生成元拓展歐幾里得演算法

最近遇到一個題,就是給兩個數,這兩個數有無限個,問你由這些數能得到哪些數。 還可以擴充套件成有n個數,問你能得到哪些數 這裡其實是有一個結論的,就是: ①兩個數互質,就可以生成很多很多數,而且從某個數開始就是連續的 ②兩個數不互質,生成的數一定是gcd(a,b)的

codeforces 1073 C. Vasya and Robot 1073D. Berland Fair思維題

C題: 題意:給你一串操作,你可以修改其中的操作使得小明從0 0 走到x y ,定義最小操作次數為最遠兩次修改操作的距離,你要求出最小操作次數或者輸出不可能。 思路: 沒啥疑問,直接二分judge就可以了。 D題: 題意:有n個糖果店,排成一個圈小明有T元錢,然後

函式名、變數前後的_一個下劃線)、__下劃線分別有什麼用

C++ 編譯器的函式名修飾規則  函式名字修飾(Decorated Name)方式      函式的名字修飾(Decorated Name)就是編譯器在編譯期間建立的一個字串,用來指明函式的定義或原型。LINK程式或其他工具有時需要指定函式的名字修飾來定位函式的正確位置。多數情況下程式設計師並不需要知道函

2. Add Two Numbers大數相加

You are given two non-empty linked lists representing two non-negative integers. The digits are stored in reverse order and each of

opencv中視訊的儲存版本的

在對視訊進行處理時,很多需要儲存處理後的結果,因而想借助於opencv將處理過後的視訊儲存下來。opencv中儲存視訊的方式分為 VideoWriter和CvVideoWriter兩個版本的,其中前者是對應Mat,後者對應的是IplImage*的。現在多用的是前者,但很多較

js點選按鈕更改html頁面的圖片來回換

<!DOCTYPE html> <html> <body> <img id="image" src="111.png" onmousedown="secou

基於https實現webSocket通訊實時在web頁面輸出日誌日誌輸出

需求 在同一頁面輸出tomcat和aserver的日誌,相互之間不影響且隨意切換不會出現jvm記憶體不足的問題。本人之前用js輪詢做的,結果測試瘋狂切換導致記憶體不足瀏覽器崩潰,卒。學習html5使用webSocket實現。 html5的webSock

Nginx配置反向代理==如代理多tomcat伺服器tomcat伺服器

1)       配置好兩個tomcat伺服器(兩個tomcat伺服器並存,上面有步驟)2)       關閉兩個tomcat,分別修改webapps/ROOT/index.jsp檔案,主要是區分808

Elasticsearch 叢集之間資料匯入匯出

直接上程式碼 官網地址 參考地址 package net.abc; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSON

如何使用HBase?大資料儲存的實戰場景

現如今各種資料儲存方案層出不窮,本文僅僅是結合兩個實戰場景就基於HBase的大資料儲存做了簡單的分析,並對HBase的原理做了簡單的闡述。如何使用好HBase,甚至於如何選擇一個最優的資料儲存方案,還需要我們根據場景需要具體分析和設計 HBase是一個高可靠性、高效能、面向

Android Intent傳值Activity之間傳遞資料

在兩個Activity之間傳遞資料,最終都是通過Intent傳遞,但設定資料和儲存資料方式有兩種(使用Intent 和 Bundle),分別對應如下: 設定資料(MainActivity.java) 方法一:1.直接用intent.putExtra(“name”,“張三”)

hadoop+Zookeeper+HBase安裝namenode+hbase

1、hadoop+Zookeeper的安裝請看:https://blog.csdn.net/sunxiaoju/article/details/85642409 2、在https://hbase.apache.org/downloads.html下載hbase,我們選擇2.1.1版本的bin

資料結構——演算法之033有序單鏈表合併為一個有序的單鏈表

【申明:本文僅限於自我歸納總結和相互交流,有紕漏還望各位指出。 聯絡郵箱:[email protected]】 題目: 兩個有序單鏈表合併為一個有序的單鏈表(預設升序)題目分析: 1、因為兩個連結串列都是有序的,所以首先要記錄那個連結串列頭最小 2、大致

javaweb之Session簡單例子頁面一個存資料,一個取資料和session的一些基本內容

package test.session; import java.io.IOException; import javax.servlet.ServletException; import javax.servlet.http.Cookie; import javax

Nginx 高併發實時監控方案單機完成多叢集監控

在高併發場景 Nginx 因其負載能力強、方便易用而大量被使用,運維工作經常會遇到的問題的是 Nginx 在高併發場景因日誌量過大實時監控並不容易實現。 本場 Chat 將帶領大家學習高併發(C30K)場景下 Nginx 實時監控的方案和報警策略,您將學到以下內容: 實時監控多個叢集的全部