mysql大資料分庫和分表 php解決方案
阿新 • • 發佈：2019-01-06
當Mysql資料量過大時，就會面臨壓力分解，這時分庫分表是一個不錯的解決方案，現在我們就來談談Mysql如何分庫分表比較理想，然後再用php如何呼叫。
分表理由：根據資料的活躍度進行分離，（因為不同活躍的資料，處理方式是不同的）
案例：
對於一個部落格系統，文章標題，作者，分類，建立時間等，是變化頻率慢，查詢次數多，而且最好有很好的實時性的資料，我們把它叫做冷資料。而部落格的瀏覽量，回覆數等，類似的統計資訊，或者別的變化頻率比較高的資料，我們把它叫做活躍資料。所以，在進行資料庫結構設計的時候，就應該考慮分表，首先是縱向分表的處理。
這樣縱向分表後：
首先儲存引擎的使用不同，冷資料使用MyIsam 可以有更好的查詢資料。活躍資料，可以使用Innodb ,可以有更好的更新速度。
其次，對冷資料進行更多的從庫配置，因為更多的操作時查詢，這樣來加快查詢速度。對熱資料，可以相對有更多的主庫的橫向分表處理。
其實，對於一些特殊的活躍資料，也可以考慮使用memcache ,redis
之類的快取，等累計到一定量再去更新資料庫。或者mongodb 一類的nosql 資料庫，這裡只是舉例，就先不說這個。
2>橫向分表
字面意思，就可以看出來，是把大的表結構，橫向切割為同樣結構的不同表，如，使用者資訊表，user_1,user_2 等。表結構是完全一樣，但是，根據某些特定的規則來劃分的表，如根據使用者ID來取模劃分。
分表理由：根據資料量的規模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。
案例：同上面的例子，部落格系統。當部落格的量達到很大時候，就應該採取橫向分割來降低每個單表的壓力，來提升效能。例如部落格的冷資料表，假如分為100個表，當同時有100萬個使用者在瀏覽時，如果是單表的話，會進行100萬次請求，而現在分表後，就可能是每個表進行1萬個資料的請求（因為，不可能絕對的平均，只是假設），這樣壓力就降低了很多很多。
1，背景：一個地址薄的應用程式，設計的使用者量為2億，統計出每個使用者的地址薄為30個左右，整個資料量為60億，使用mysql資料庫（億級資料庫設計）
計劃分為：1000個表，100個庫
2，分庫分表程式碼
private function getDbNo($email)
{
$m = md5($email);
$n = hexdec(substr($m, 0, 16));
$tableNo = fmod($n, 1000);
$dbNo = $tableNo % 100;
return array($dbNo, $tableNo);
}
3，配合的連線訪問程式碼
require_once ‘Db/Config.php’;
class Db_Adapter
{
const MASTER = 0;
const SLAVE = 1;
private static $instances = array();
private $conf = array();
private $conns = array();
private $conn = NULL;
private $stmt = NULL;
public function __construct($conf)
{
$this->conf = $conf;
}
public function execute($sql, $params)
{
$cmd = substr(strtolower(trim($sql)), 0, 6);
if ($cmd == ‘select’) {
$conn = $this->getConn(self::SLAVE);
} else {
$conn = $this->getConn(self::MASTER);
}
$conn->prepare($sql);
$stmt = $conn->execute($params);
$this->conn = $conn;
$this->stmt = $stmt;
}
public function fetch()
{
return $this->stmt->fetch();
}
public function fetchAll()
{
return $this->stmt->fetchAll();
}
public function lastInsertId($name = NULL)
{
return $this->conn->lastInsertId($name);
}
public function rowCount()
{
return $this->stmt->rowCount();
}
private function getConn($type)
{
if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
$id = 0;
} else {
$id = 1;
}
if (!isset($this->conns[$id])) {
$conf = $this->conf[$id];
$this->conns[$id] = new PDO(
$conf['dsn'], $conf['user'], $conf['pass'],
self::dbOptions);
}
return $this->conns[$id];
}
public static function getInstance($dbName, $dbNo = 0)
{
$key = $dbName . ‘_’ . $dbNo;
if (!isset(self::$instances[$key])) {
$conf = Db_Config::getConfig($dbName, $dbNo); //連線配置引數
self::$instances[$key] = new self($conf);
}
return self::$instances[$key];
}
}
4，潛在問題
如果某個表中的那些使用者的地址薄聯絡人超多，如每個人1000個，則可能出現該表超大，需要把該表區分為子表，暫時沒有配置中心來處理該情況。
(若真的出現該情況，在連線引數這個地方繼續作一次hash)。
1，主從複製，讀寫分離
對主庫修改資料，查詢使用從庫。一主多從，來降低資料庫讀取壓力。
2，分庫分表
根據實體業務來分庫，分表。如，根據資料的活躍性，根據使用者uid等。
3，mysql 不同儲存引擎區別
InnoDB 用於資料完整性/寫效能要求比較高的應用. MyISAM 適合查詢應用。
分表是分散資料庫壓力的好方法。
分表，最直白的意思，就是將一個表結構分為多個表，然後，可以再同一個庫裡，也可以放到不同的庫。
當然，首先要知道什麼情況下，才需要分表。個人覺得單表記錄條數達到百萬到千萬級別時就要使用分表了。
1，分表的分類
1>縱向分表
將本來可以在同一個表的內容，人為劃分為多個表。（所謂的本來，是指按照關係型資料庫的第三正規化要求，是應該在同一個表的。）
分表理由：根據資料的活躍度進行分離，（因為不同活躍的資料，處理方式是不同的）
案例：
對於一個部落格系統，文章標題，作者，分類，建立時間等，是變化頻率慢，查詢次數多，而且最好有很好的實時性的資料，我們把它叫做冷資料。而部落格的瀏覽量，回覆數等，類似的統計資訊，或者別的變化頻率比較高的資料，我們把它叫做活躍資料。所以，在進行資料庫結構設計的時候，就應該考慮分表，首先是縱向分表的處理。
這樣縱向分表後：
首先儲存引擎的使用不同，冷資料使用MyIsam 可以有更好的查詢資料。活躍資料，可以使用Innodb ,可以有更好的更新速度。
其次，對冷資料進行更多的從庫配置，因為更多的操作時查詢，這樣來加快查詢速度。對熱資料，可以相對有更多的主庫的橫向分表處理。
其實，對於一些特殊的活躍資料，也可以考慮使用memcache ,redis
之類的快取，等累計到一定量再去更新資料庫。或者mongodb 一類的nosql 資料庫，這裡只是舉例，就先不說這個。
2>橫向分表
字面意思，就可以看出來，是把大的表結構，橫向切割為同樣結構的不同表，如，使用者資訊表，user_1,user_2 等。表結構是完全一樣，但是，根據某些特定的規則來劃分的表，如根據使用者ID來取模劃分。
分表理由：根據資料量的規模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。
案例：同上面的例子，部落格系統。當部落格的量達到很大時候，就應該採取橫向分割來降低每個單表的壓力，來提升效能。例如部落格的冷資料表，假如分為100個表，當同時有100萬個使用者在瀏覽時，如果是單表的話，會進行100萬次請求，而現在分表後，就可能是每個表進行1萬個資料的請求（因為，不可能絕對的平均，只是假設），這樣壓力就降低了很多很多。
1，背景：一個地址薄的應用程式，設計的使用者量為2億，統計出每個使用者的地址薄為30個左右，整個資料量為60億，使用mysql資料庫（億級資料庫設計）
計劃分為：1000個表，100個庫
2，分庫分表程式碼
private function getDbNo($email)
{
$m = md5($email);
$n = hexdec(substr($m, 0, 16));
$tableNo = fmod($n, 1000);
$dbNo = $tableNo % 100;
return array($dbNo, $tableNo);
}
3，配合的連線訪問程式碼
require_once ‘Db/Config.php’;
class Db_Adapter
{
const MASTER = 0;
const SLAVE = 1;
private static $instances = array();
private $conf = array();
private $conns = array();
private $conn = NULL;
private $stmt = NULL;
public function __construct($conf)
{
$this->conf = $conf;
}
public function execute($sql, $params)
{
$cmd = substr(strtolower(trim($sql)), 0, 6);
if ($cmd == ‘select’) {
$conn = $this->getConn(self::SLAVE);
} else {
$conn = $this->getConn(self::MASTER);
}
$conn->prepare($sql);
$stmt = $conn->execute($params);
$this->conn = $conn;
$this->stmt = $stmt;
}
public function fetch()
{
return $this->stmt->fetch();
}
public function fetchAll()
{
return $this->stmt->fetchAll();
}
public function lastInsertId($name = NULL)
{
return $this->conn->lastInsertId($name);
}
public function rowCount()
{
return $this->stmt->rowCount();
}
private function getConn($type)
{
if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
$id = 0;
} else {
$id = 1;
}
if (!isset($this->conns[$id])) {
$conf = $this->conf[$id];
$this->conns[$id] = new PDO(
$conf['dsn'], $conf['user'], $conf['pass'],
self::dbOptions);
}
return $this->conns[$id];
}
public static function getInstance($dbName, $dbNo = 0)
{
$key = $dbName . ‘_’ . $dbNo;
if (!isset(self::$instances[$key])) {
$conf = Db_Config::getConfig($dbName, $dbNo); //連線配置引數
self::$instances[$key] = new self($conf);
}
return self::$instances[$key];
}
}
4，潛在問題
如果某個表中的那些使用者的地址薄聯絡人超多，如每個人1000個，則可能出現該表超大，需要把該表區分為子表，暫時沒有配置中心來處理該情況。
(若真的出現該情況，在連線引數這個地方繼續作一次hash)。