2. 程式人生 > >php+中文分詞scws+sphinx+mysql打造千萬級數據全文搜索

php+中文分詞scws+sphinx+mysql打造千萬級數據全文搜索

阿新 • • 發佈：2017-06-14
libc 海量 modules shell pub redis集群 register 處理 onf

Sphinx是由俄羅斯人Andrew Aksyonoff開發的一個全文檢索引擎。意圖為其他應用提供高速、低空間占用、高結果 相關度的全文搜索功能。Sphinx可以非常容易的與SQL數據庫和腳本語言集成。當前系統內置MySQL和PostgreSQL 數據庫數據源的支持，也支持從標準輸入讀取特定格式 的XML數據。
Sphinx創建索引的速度為：創建100萬條記錄的索引只需3～4分鐘，創建1000萬條記錄的索引可以在50分鐘內完成，而只包含最新10萬條記錄的增量索引，重建一次只需幾十秒。
Sphinx的特性如下：
a) 高速的建立索引(在當代CPU上，峰值性能可達到10 MB/秒);
b) 高性能的搜索(在2 – 4GB 的文本數據上，平均每次檢索響應時間小於0.1秒);

c) 可處理海量數據(目前已知可以處理超過100 GB的文本數據, 在單一CPU的系統上可處理100 M 文檔);
d) 提供了優秀的相關度算法，基於短語相似度和統計（BM25）的復合Ranking方法;
e) 支持分布式搜索;
f) 支持短語搜索
g) 提供文檔摘要生成
h) 可作為MySQL的存儲引擎提供搜索服務;
i) 支持布爾、短語、詞語相似度等多種檢索模式;
j) 文檔支持多個全文檢索字段(最大不超過32個);
k) 文檔支持多個額外的屬性信息(例如：分組信息，時間戳等);
l) 支持斷詞;
雖然mysql的MYISAM提供全文索引，但是性能卻不敢讓人恭維


開始搭建

系統環境：centos6.5+php5.6+apache+MySQL

1、安裝依賴包

[php] view plain copy
  1. yum -y install make gcc g++ gcc-c++ libtool autoconf automake imake php-devel mysql-devel libxml2-devel expat-devel


2、安裝Sphinx

[php] view plain copy
  1. yum install expat expat-devel
  2. wget -c http://sphinxsearch.com/files/sphinx-2.0.7-release.tar.gz
  3. tar zxvf sphinx-2.0.7-release.tar.gz
  4. cd sphinx-2.0.7-release
  5. ./configure --prefix=/usr/local/sphinx --with-mysql --with-libexpat --enable-id64
  6. make && make install

3、安裝libsphinxclient，PHP擴展用到

[php] view plain copy
  1. cd api/libsphinxclient
  2. ./configure --prefix=/usr/local/sphinx/libsphinxclient
  3. make && make install


4、安裝Sphinx的PHP擴展:我的是5.6需裝sphinx-1.3.3.tgz，如果是php5.4以下可sphinx-1.3.0.tgz

[php] view plain copy
  1. wget -c http://pecl.php.net/get/sphinx-1.3.3.tgz
  2. tar zxvf sphinx-1.3.3.tgz
  3. cd sphinx-1.3.3
  4. phpize
  5. ./configure --with-sphinx=/usr/local/sphinx/libsphinxclient/ --with-php-config=/usr/bin/php-config
  6. make && make install
  7. 成功後會提示：
  8. Installing shared extensions: /usr/lib64/php/modules/
  11. echo "[Sphinx]" >> /etc/php.ini
  12. echo "extension = sphinx.so" >> /etc/php.ini
  13. #重啟apache
  14. service httpd restart


5、創建測試數據

[php] view plain copy
  1. CREATE TABLE IF NOT EXISTS `items` (
  2. `id` int(11) NOT NULL AUTO_INCREMENT,
  3. `title` varchar(255) NOT NULL,
  4. `content` text NOT NULL,
  5. `created` datetime NOT NULL,
  6. PRIMARY KEY (`id`)
  7. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT=‘全文檢索測試的數據表‘ AUTO_INCREMENT=11 ;
  9. INSERT INTO `items` (`id`, `title`, `content`, `created`) VALUES
  10. (1, ‘linux mysql集群安裝‘, ‘MySQL Cluster 是MySQL 適合於分布式計算環境的高實用、可拓展、高性能、高冗余版本‘, ‘2016-09-07 00:00:00‘),
  11. (2, ‘mysql主從復制‘, ‘mysql主從備份(復制)的基本原理 mysql支持單向、異步復制,復制過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器‘, ‘2016-09-06 00:00:00‘),
  12. (3, ‘hello‘, ‘can you search me?‘, ‘2016-09-05 00:00:00‘),
  13. (4, ‘mysql‘, ‘mysql is the best database?‘, ‘2016-09-03 00:00:00‘),
  14. (5, ‘mysql索引‘, ‘關於MySQL索引的好處,如果正確合理設計並且使用索引的MySQL是一輛蘭博基尼的話,那麽沒有設計和使用索引的MySQL就是一個人力三輪車‘, ‘2016-09-01 00:00:00‘),
  15. (6, ‘集群‘, ‘關於MySQL索引的好處,如果正確合理設計並且使用索引的MySQL是一輛蘭博基尼的話,那麽沒有設計和使用索引的MySQL就是一個人力三輪車‘, ‘0000-00-00 00:00:00‘),
  16. (9, ‘復制原理‘, ‘redis也有復制‘, ‘0000-00-00 00:00:00‘),
  17. (10, ‘redis集群‘, ‘集群技術是構建高性能網站架構的重要手段，試想在網站承受高並發訪問壓力的同時，還需要從海量數據中查詢出滿足條件的數據，並快速響應，我們必然想到的是將數據進行切片，把數據根據某種規則放入多個不同的服務器節點，來降低單節點服務器的壓力‘, ‘0000-00-00 00:00:00‘);
  19. CREATE TABLE IF NOT EXISTS `sph_counter` (
  20. `counter_id` int(11) NOT NULL,
  21. `max_doc_id` int(11) NOT NULL,
  22. PRIMARY KEY (`counter_id`)
  23. ) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT=‘增量索引標示的計數表‘;

以下采用"Main + Delta" ("主索引"+"增量索引")的索引策略，使用Sphinx自帶的一元分詞。

6、Sphinx配置:註意修改數據源配置信息

[php] view plain copy
  1. vi /usr/local/sphinx/etc/sphinx.conf
  2. source items {
  3. type = mysql
  4. sql_host = localhost
  5. sql_user = root
  6. sql_pass = 123456
  7. sql_db = sphinx_items
  9. sql_query_pre = SET NAMES utf8
  10. sql_query_pre = SET SESSION query_cache_type = OFF
  11. sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM items
  13. sql_query_range = SELECT MIN(id), MAX(id) FROM items \
  14. WHERE id<=(SELECT max_doc_id FROM sph_counter WHERE counter_id=1)
  15. sql_range_step = 1000
  16. sql_ranged_throttle = 1000
  18. sql_query = SELECT id, title, content, created, 0 as deleted FROM items \
  19. WHERE id<=(SELECT max_doc_id FROM sph_counter WHERE counter_id=1) \
  20. AND id >= $start AND id <= $end
  22. sql_attr_timestamp = created
  23. sql_attr_bool = deleted
  24. }
  26. source items_delta : items {
  27. sql_query_pre = SET NAMES utf8
  28. sql_query_range = SELECT MIN(id), MAX(id) FROM items \
  29. WHERE id > (SELECT max_doc_id FROM sph_counter WHERE counter_id=1)
  30. sql_query = SELECT id, title, content, created, 0 as deleted FROM items \
  31. WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) \
  32. AND id >= $start AND id <= $end
  33. sql_query_post_index = set @max_doc_id :=(SELECT max_doc_id FROM sph_counter WHERE counter_id=1)
  34. sql_query_post_index = REPLACE INTO sph_counter SELECT 2, IF($maxid, $maxid, @max_doc_id)
  35. }
  36. #主索引
  37. index items {
  38. source = items
  39. path = /usr/local/sphinx/var/data/items
  40. docinfo = extern
  41. morphology = none
  42. min_word_len = 1
  43. min_prefix_len = 0
  44. html_strip = 1
  45. html_remove_elements = style, script
  46. ngram_len = 1
  47. ngram_chars = U+3000..U+2FA1F
  48. charset_type = utf-8
  49. charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
  50. preopen = 1
  51. min_infix_len = 1
  52. }
  54. #增量索引
  55. index items_delta : items {
  56. source = items_delta
  57. path = /usr/local/sphinx/var/data/items-delta
  58. }
  60. #分布式索引
  61. index master {
  62. type = distributed
  63. local = items
  64. local = items_delta
  65. }
  67. indexer {
  68. mem_limit = 256M
  69. }
  71. searchd {
  72. listen = 9312
  73. listen = 9306:mysql41 #Used for SphinxQL
  74. log = /usr/local/sphinx/var/log/searchd.log
  75. query_log = /usr/local/sphinx/var/log/query.log
  76. compat_sphinxql_magics = 0
  77. attr_flush_period = 600
  78. mva_updates_pool = 16M
  79. read_timeout = 5
  80. max_children = 0
  81. dist_threads = 2
  82. pid_file = /usr/local/sphinx/var/log/searchd.pid
  83. max_matches = 1000
  84. seamless_rotate = 1
  85. preopen_indexes = 1
  86. unlink_old = 1
  87. workers = threads # for RT to work
  88. binlog_path = /usr/local/sphinx/var/data
  90. }

保存退出

7、Sphinx創建索引

[php] view plain copy
  1. #第一次需重建索引:
  2. [[email protected] bin]# ./indexer -c /usr/local/sphinx/etc/sphinx.conf --all
  3. Sphinx 2.0.7-id64-release (r3759)
  4. Copyright (c) 2001-2012, Andrew Aksyonoff
  5. Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)
  7. using config file ‘/usr/local/sphinx/etc/sphinx.conf‘...
  8. indexing index ‘items‘...
  9. collected 8 docs, 0.0 MB
  10. sorted 0.0 Mhits, 100.0% done
  11. total 8 docs, 1121 bytes
  12. total 1.017 sec, 1101 bytes/sec, 7.86 docs/sec
  13. indexing index ‘items_delta‘...
  14. collected 0 docs, 0.0 MB
  15. total 0 docs, 0 bytes
  16. total 1.007 sec, 0 bytes/sec, 0.00 docs/sec
  17. skipping non-plain index ‘master‘...
  18. total 4 reads, 0.000 sec, 0.7 kb/call avg, 0.0 msec/call avg
  19. total 14 writes, 0.001 sec, 0.5 kb/call avg, 0.1 msec/call avg
  20. #啟動sphinx
  21. [[email protected] bin]# ./searchd -c /usr/local/sphinx/etc/sphinx.conf
  22. Sphinx 2.0.7-id64-release (r3759)
  23. Copyright (c) 2001-2012, Andrew Aksyonoff
  24. Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)
  26. using config file ‘/usr/local/sphinx/etc/sphinx.conf‘...
  27. listening on all interfaces, port=9312
  28. listening on all interfaces, port=9306
  29. precaching index ‘items‘
  30. precaching index ‘items_delta‘
  31. rotating index ‘items_delta‘: success
  32. precached 2 indexes in 0.012 sec
  33. #查看進程
  34. [[email protected] bin]# ps -ef | grep searchd
  35. root 30431 1 0 23:59 ? 00:00:00 ./searchd -c /usr/local/sphinx/etc/sphinx.conf
  36. root 30432 30431 0 23:59 ? 00:00:00 ./searchd -c /usr/local/sphinx/etc/sphinx.conf
  37. root 30437 1490 0 23:59 pts/0 00:00:00 grep searchd
  38. #停止Searchd:
  39. ./searchd -c /usr/local/sphinx/etc/sphinx.conf --stop
  40. #查看Searchd狀態:
  41. ./searchd -c /usr/local/sphinx/etc/sphinx.conf --status

索引更新及使用說明
"增量索引"每N分鐘更新一次.通常在每天晚上低負載的時進行一次索引合並,同時重新建立"增量索引"。當然"主索引"數據不多的話，也可以直接重新建立"主索引"。
API搜索的時，同時使用"主索引"和"增量索引"，這樣可以獲得準實時的搜索數據.本文的Sphinx配置將"主索引"和"增量索引"放到分布式索引master中,因此只需查詢分布式索引"master"即可獲得全部匹配數據(包括最新數據)。

索引的更新與合並的操作可以放到cron job完成：

[php] view plain copy
  1. crontab -e
  2. */1 * * * * /usr/local/sphinx/shell/delta_index_update.sh
  3. 0 3 * * * /usr/local/sphinx/shell/merge_daily_index.sh
  4. crontab -l

cron job所用的shell腳本例子:

delta_index_update.sh:

[php] view plain copy
  1. #!/bin/bash
  2. /usr/local/sphinx/bin/indexer -c /usr/local/sphinx/etc/sphinx.conf --rotate items_delta > /dev/null 2>&1

merge_daily_index.sh:

[php] view plain copy
  1. #!/bin/bash
  2. indexer=`which indexer`
  3. mysql=`which mysql`
  5. QUERY="use sphinx_items;select max_doc_id from sph_counter where counter_id = 2 limit 1;"
  6. index_counter=$($mysql -h192.168.1.198 -uroot -p123456 -sN -e "$QUERY")
  8. #merge "main + delta" indexes
  9. $indexer -c /usr/local/sphinx/etc/sphinx.conf --rotate --merge items items_delta --merge-dst-range deleted 0 0 >> /usr/local/sphinx/var/index_merge.log 2>&1
  11. if [ "$?" -eq 0 ]; then
  12. ##update sphinx counter
  13. if [ ! -z $index_counter ]; then
  14. $mysql -h192.168.1.198 -uroot -p123456 -Dsphinx_items -e "REPLACE INTO sph_counter VALUES (1, ‘$index_counter‘)"
  15. fi
  16. ##rebuild delta index to avoid confusion with main index
  17. $indexer -c /usr/local/sphinx/etc/sphinx.conf --rotate items_delta >> /usr/local/sphinx/var/rebuild_deltaindex.log 2>&1
  18. fi


8、php中文分詞scws安裝:註意擴展的版本和php的版本

[php] view plain copy
  1. wget -c http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2
  2. tar jxvf scws-1.2.3.tar.bz2
  3. cd scws-1.2.3
  4. ./configure --prefix=/usr/local/scws
  5. make && make install


9、scws的PHP擴展安裝:

[php] view plain copy
  1. cd ./phpext
  2. phpize
  3. ./configure
  4. make && make install
  5. echo "[scws]" >> /etc/php.ini
  6. echo "extension = scws.so" >> /etc/php.ini
  7. echo "scws.default.charset = utf-8" >> /etc/php.ini
  8. echo "scws.default.fpath = /usr/local/scws/etc/" >> /etc/php.ini


10、詞庫安裝:

[php] view plain copy
  1. wget http://www.xunsearch.com/scws/down/scws-dict-chs-utf8.tar.bz2
  2. tar jxvf scws-dict-chs-utf8.tar.bz2 -C /usr/local/scws/etc/
  3. chown www:www /usr/local/scws/etc/dict.utf8.xdb

11、php使用Sphinx+scws測試例子
在Sphinx源碼API中,有好幾種語言的API調用.其中有一個是sphinxapi.php。
不過以下的測試使用的是Sphinx的PHP擴展.具體安裝見本文開頭的Sphinx安裝部分。
測試用的搜索類Search.php：註意修改getDBConnection()信息為自己的

[php] view plain copy
  1. <?php
  2. class Search {
  3. /**
  4. * @var SphinxClient
  5. **/
  6. protected $client;
  7. /**
  8. * @var string
  9. **/
  10. protected $keywords;
  11. /**
  12. * @var resource
  13. **/
  14. private static $dbconnection = null;
  16. /**
  17. * Constructor
  18. **/
  19. public function __construct($options = array()) {
  20. $defaults = array(
  21. ‘query_mode‘ => SPH_MATCH_EXTENDED2,
  22. ‘sort_mode‘ => SPH_SORT_EXTENDED,
  23. ‘ranking_mode‘ => SPH_RANK_PROXIMITY_BM25,
  24. ‘field_weights‘ => array(),
  25. ‘max_matches‘ => 1000,
  26. ‘snippet_enabled‘ => true,
  27. ‘snippet_index‘ => ‘items‘,
  28. ‘snippet_fields‘ => array(),
  29. );
  30. $this->options = array_merge($defaults, $options);
  31. $this->client = new SphinxClient();
  32. //$this->client->setServer("192.168.1.198", 9312);
  33. $this->client->setMatchMode($this->options[‘query_mode‘]);
  34. if ($this->options[‘field_weights‘] !== array()) {
  35. $this->client->setFieldWeights($this->options[‘field_weights‘]);
  36. }
  37. /*
  38. if ( in_array($this->options[‘query_mode‘], [SPH_MATCH_EXTENDED2,SPH_MATCH_EXTENDED]) ) {
  39. $this->client->setRankingMode($this->options[‘ranking_mode‘]);
  40. }
  41. */
  42. }
  44. /**
  45. * Query
  46. *
  47. * @param string $keywords
  48. * @param integer $offset
  49. * @param integer $limit
  50. * @param string $index
  51. * @return array
  52. **/
  53. public function query($keywords, $offset = 0, $limit = 10, $index = ‘*‘) {
  54. $this->keywords = $keywords;
  55. $max_matches = $limit > $this->options[‘max_matches‘] ? $limit : $this->options[‘max_matches‘];
  56. $this->client->setLimits($offset, $limit, $max_matches);
  57. $query_results = $this->client->query($keywords, $index);
  59. if ($query_results === false) {
  60. $this->log(‘error:‘ . $this->client->getLastError());
  61. }
  63. $res = [];
  64. if ( empty($query_results[‘matches‘]) ) {
  65. return $res;
  66. }
  67. $res[‘total‘] = $query_results[‘total‘];
  68. $res[‘total_found‘] = $query_results[‘total_found‘];
  69. $res[‘time‘] = $query_results[‘time‘];
  70. $doc_ids = array_keys($query_results[‘matches‘]);
  71. unset($query_results);
  72. $res[‘data‘] = $this->fetch_data($doc_ids);
  73. if ($this->options[‘snippet_enabled‘]) {
  74. $this->buildExcerptRows($res[‘data‘]);
  75. }
  77. return $res;
  78. }
  80. /**
  81. * custom sorting
  82. *
  83. * @param string $sortBy
  84. * @param int $mode
  85. * @return bool
  86. **/
  87. public function setSortBy($sortBy = ‘‘, $mode = 0) {
  88. if ($sortBy) {
  89. $mode = $mode ?: $this->options[‘sort_mode‘];
  90. $this->client->setSortMode($mode, $sortBy);
  91. } else {
  92. $this->client->setSortMode(SPH_SORT_RELEVANCE);
  93. }
  94. }
  96. /**
  97. * fetch data based on matched doc_ids
  98. *
  99. * @param array $doc_ids
  100. * @return array
  101. **/
  102. protected function fetch_data($doc_ids) {
  103. $ids = implode(‘,‘, $doc_ids);
  104. $queries = self::getDBConnection()->query("SELECT * FROM items WHERE id in ($ids)", PDO::FETCH_ASSOC);
  105. return iterator_to_array($queries);
  106. }
  108. /**
  109. * build excerpts for data
  110. *
  111. * @param array $rows
  112. * @return array
  113. **/
  114. protected function buildExcerptRows(&$rows) {
  115. $options = array(
  116. ‘before_match‘ => ‘<b style="color:red">‘,
  117. ‘after_match‘ => ‘</b>‘,
  118. ‘chunk_separator‘ => ‘...‘,
  119. ‘limit‘ => 256,
  120. ‘around‘ => 3,
  121. ‘exact_phrase‘ => false,
  122. ‘single_passage‘ => true,
  123. ‘limit_words‘ => 5,
  124. );
  125. $scount = count($this->options[‘snippet_fields‘]);
  126. foreach ($rows as &$row) {
  127. foreach ($row as $fk => $item) {
  128. if (!is_string($item) || ($scount && !in_array($fk, $this->options[‘snippet_fields‘])) ) continue;
  129. $item = preg_replace(‘/[\r\t\n]+/‘, ‘‘, strip_tags($item));
  130. $res = $this->client->buildExcerpts(array($item), $this->options[‘snippet_index‘], $this->keywords, $options);
  131. $row[$fk] = $res === false ? $item : $res[0];
  132. }
  133. }
  134. return $rows;
  135. }
  137. /**
  138. * database connection
  139. *
  140. * @return resource
  141. **/
  142. private static function getDBConnection() {
  143. $dsn = ‘mysql:host=192.168.1.198;dbname=sphinx_items‘;
  144. $user = ‘root‘;
  145. $pass = ‘123456‘;
  146. if (!self::$dbconnection) {
  147. try {
  148. self::$dbconnection = new PDO($dsn, $user, $pass);
  149. } catch (PDOException $e) {
  150. die(‘Connection failed: ‘ . $e->getMessage());
  151. }
  152. }
  153. return self::$dbconnection;
  154. }
  156. /**
  157. * Chinese words segmentation
  158. *
  159. **/
  160. public function wordSplit($keywords) {
  161. $fpath = ini_get(‘scws.default.fpath‘);
  162. $so = scws_new();
  163. $so->set_charset(‘utf-8‘);
  164. $so->add_dict($fpath . ‘/dict.utf8.xdb‘);
  165. //$so->add_dict($fpath .‘/custom_dict.txt‘, SCWS_XDICT_TXT);
  166. $so->set_rule($fpath . ‘/rules.utf8.ini‘);
  167. $so->set_ignore(true);
  168. $so->set_multi(false);
  169. $so->set_duality(false);
  170. $so->send_text($keywords);
  171. $words = [];
  172. $results = $so->get_result();
  173. foreach ($results as $res) {
  174. $words[] = ‘(‘ . $res[‘word‘] . ‘)‘;
  175. }
  176. $words[] = ‘(‘ . $keywords . ‘)‘;
  177. return join(‘|‘, $words);
  178. }
  180. /**
  181. * get current sphinx client
  182. *
  183. * @return resource
  184. **/
  185. public function getClient() {
  186. return $this->client;
  187. }
  188. /**
  189. * log error
  190. **/
  191. public function log($msg) {
  192. // log errors here
  193. //echo $msg;
  194. }
  195. /**
  196. * magic methods
  197. **/
  198. public function __call($method, $args) {
  199. $rc = new ReflectionClass(‘SphinxClient‘);
  200. if ( !$rc->hasMethod($method) ) {
  201. throw new Exception(‘invalid method :‘ . $method);
  202. }
  203. return call_user_func_array(array($this->client, $method), $args);
  204. }
  205. }


測試文件test.php：

[php] view plain copy
  1. <?php
  2. require(‘Search.php‘);
  3. $s = new Search([
  4. ‘snippet_fields‘ => [‘title‘, ‘content‘],
  5. ‘field_weights‘ => [‘title‘ => 20, ‘content‘ => 10],
  6. ]);
  7. $s->setSortMode(SPH_SORT_EXTENDED, ‘created desc,@weight desc‘);
  8. //$s->setSortBy(‘created desc,@weight desc‘);
  9. $words = $s->wordSplit("mysql集群");//先分詞 結果：(mysql)|(mysql集群)
  10. //print_r($words);exit;
  11. $res = $s->query($words, 0, 10, ‘master‘);
  12. echo ‘<pre/>‘;print_r($res);

測試結果：

技術分享

12、SphinxQL測試

要使用SphinxQL需要在Searchd的配置裏面增加相應的監聽端口(參考上文配置)。

[php] view plain copy
  1. [[email protected] bin]# mysql -h127.0.0.1 -P9306 -uroot -p
  2. Enter password:
  3. Welcome to the MySQL monitor. Commands end with ; or \g.
  4. Your MySQL connection id is 1
  5. Server version: 2.0.7-id64-release (r3759)
  7. Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.
  9. Oracle is a registered trademark of Oracle Corporation and/or its
  10. affiliates. Other names may be trademarks of their respective
  11. owners.
  13. Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.
  15. mysql> show global variables;
  16. +----------------------+---------+
  17. | Variable_name | Value |
  18. +----------------------+---------+
  19. | autocommit | 1 |
  20. | collation_connection | libc_ci |
  21. | query_log_format | plain |
  22. | log_level | info |
  23. +----------------------+---------+
  24. 4 rows in set (0.00 sec)
  26. mysql> desc items;
  27. +---------+-----------+
  28. | Field | Type |
  29. +---------+-----------+
  30. | id | bigint |
  31. | title | field |
  32. | content | field |
  33. | created | timestamp |
  34. | deleted | bool |
  35. +---------+-----------+
  36. 5 rows in set (0.00 sec)
  38. mysql> select * from master where match (‘mysql集群‘) limit 10;
  39. +------+---------+---------+
  40. | id | created | deleted |
  41. +------+---------+---------+
  42. | 1 | 2016 | 0 |
  43. | 6 | 0 | 0 |
  44. +------+---------+---------+
  45. 2 rows in set (0.00 sec)
  47. mysql> show meta;
  48. +---------------+-------+
  49. | Variable_name | Value |
  50. +---------------+-------+
  51. | total | 2 |
  52. | total_found | 2 |
  53. | time | 0.006 |
  54. | keyword[0] | mysql |
  55. | docs[0] | 5 |
  56. | hits[0] | 15 |
  57. | keyword[1] | 集 |
  58. | docs[1] | 3 |
  59. | hits[1] | 4 |
  60. | keyword[2] | 群 |
  61. | docs[2] | 3 |
  62. | hits[2] | 4 |
  63. +---------------+-------+
  64. 12 rows in set (0.00 sec)
  66. mysql>

php+中文分詞scws+sphinx+mysql打造千萬級數據全文搜索

相關推薦

php+中文分詞scws+sphinx+mysql打造千萬級數據全文搜索

libc 海量 modules shell pub redis集群 register 處理 onf Sphinx是由俄羅斯人Andrew Aksyonoff開發的一個全文檢索引擎。意圖為其他應用提供高速、低空間占用、高結果 相關度的全文搜索功能。Sphinx可以非常容易的與

PHP中文分詞擴展 SCWS

.com lin white 案例 文件 down 運用 包含 div 1、scws簡單介紹 SCWS 是 Simple Chinese Word Segmentation 的首字母縮寫（即：簡易中文分詞系統）。 這是一套基於詞頻詞典的機械式中文分詞引擎，它能將一整段的

Coreseek安裝-帶中文分詞的Sphinx

什麼是Coreseek Sphinx預設不支援中文索引及檢索，基於Sphinx開發了Coreseek全文檢索伺服器，Coreseek應該是現在用的最多的Sphinx中文全文檢索，它提供了為Sphinx設計的中文分詞包LibMMSeg包含mmseg中文分詞。 安裝

php 中文分詞 全文搜尋引擎 xunsearch 例項

xunsearch 安裝 下載 解壓 安裝 安裝成功 配置資訊 設計表 做測試資料 配置檔案 建立索引 測試索引 xunsearch 安裝 下載 cd ~/downl

php 中文分詞使用

1. 取得 scws-1.2.3 的程式碼 wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2 2. 解開壓縮包[[email protected] ~]$ tar xvjf scws-1.2.

基於Sphinx+MySQL的千萬級資料全文檢索（搜尋引擎）架構設計

[文章作者：張宴 本文版本：v1.0 最後修改：2008.07.27 轉載請註明原文連結：http://blog.s135.com/post/360/]　　前言：本文闡述的是一款經過生產環境檢驗的千萬級資料全文檢索（搜尋引擎）架構。本文只列出前幾章的內容節選，不提供全文內容。

SCWS中文分詞PHP擴展詳細安裝說明

server 文檔 .so 小姐 lang down http 寶塔面板 代碼 因最近寫的一段代碼，需要用到中文分詞，在網上找了一下，發現了scws這個不錯的插件，故根據文檔安裝使用，下面記錄下安裝的全過程 系統:centos 安裝scws wget http://www.

scws中文分詞PHP

Linux下安裝scws和安裝PHP的scws擴充套件 wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2tar xvjf scws-1.2.3.tar.bz2cd scws-1.2.3/./configure --prefix=/usr/l

Sphinx+Mysql+中文分詞安裝-實現中文全文搜尋

1、什麼是SphinxSphinx 是一個在GPLv2 下發布的一個全文檢索引擎，商業授權（例如, 嵌入到其他程式中）需要聯絡我們（Sphinxsearch.com）以獲得商業授權。一般而言，Sphinx是一個獨立的搜尋引擎，意圖為其他應用提供高速、低空間佔用、高結果相關度的

Centos下Sphinx中文分詞編譯安裝測試---CoreSeek

orm 創建索引 auxiliary aclocal memcache acl inux mage arch 要支持中文分詞，還需要下載Coreseek，可以去官方搜索下載，這裏我用的4.1 百度雲下載地址： https://pan.baidu.com/s/1sl

Ubuntu16.04下安裝elasticsearch+kibana實現php客戶端的中文分詞

lba 實例 exc common adding creat 啟動服務 uid dbms 1.下載安裝elasticsearch和kibana wget https://artifacts.elastic.co/downloads/elasticsearch/elasti

Sphinx + Coreseek 實現中文分詞搜索

addclass trac 無法連接到 繼續 記錄 warning php接口 整數 href Sphinx + Coreseek 實現中文分詞搜索 Sphinx Coreseek 實現中文分詞搜索 全文檢索 1 全文檢索 vs 數據庫 2

scws中文分詞安裝和使用

pre tex gbk 文件 log with default pat lib 一、下載源碼 wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2 tar xvjf scws-1.2.3.tar.bz2

solr 7+tomcat 8 + mysql實現solr 7基本使用(安裝、整合中文分詞器、定時同步資料庫資料以及專案整合)

基本說明 Solr是一個開源專案，基於Lucene的搜尋伺服器，一般用於高階的搜尋功能； solr還支援各種外掛(如中文分詞器等)，便於做多樣化功能的整合； 提供頁面操作，檢視日誌和配置資訊，功能全面。 solr 7 + tomcat 8實現solr 7的安裝 Sol

Sphinx中文分詞詳細安裝配置及API呼叫實戰手冊

這幾天專案中需要重新做一個關於商品的全文搜尋功能,於是想到了用Sphinx,因為需要中文分詞,所以選擇了Sphinx for chinese,當然你也可以選擇coreseek,建議這兩個中選擇一個,暫時不要選擇原版Sphinx(對中文的支援不是很好).又因為伺服器所用MySQL在當時編譯時並沒有編譯Sphi

centos7 下solr7.4.0 配置mysql 資料來源、中文分詞

準備 solr7.4.0未安裝請移步 solr安裝 solr 未配置中文分詞請移步 中文分詞 配置mysql資料來源步驟如下 下載mysql驅動包 地址：http://central.ma

sphinx的安裝配置和中文分詞包coreseek

sphinx在此處下載： http://sphinxsearch.com/downloads/release/ 本次我下的是2.2.4版本 自持中文分詞的包叫做coreseek，其實就是帶了中文分詞外掛的sphinx，在此處下載： http://www.coreseek.

python 讀寫txt文件並用jieba庫進行中文分詞

mage 亂碼 技術分享 流行 ictclas 函數 結果 class 配置 python用來批量處理一些數據的第一步吧。 對於我這樣的的萌新。這是第一步。 #encoding=utf-8 file=‘test.txt‘ fn=open(file,"r") print f

.NET Core中文分詞組件jieba.NET Core

搜索引擎特點支持三種分詞模式：精確模式，試圖將句子最精確地切開，適合文本分析；全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義。具體來說，分詞過程不會借助於詞頻查找最大概率路徑，亦不會使用HMM；搜索引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜索引擎分詞。

es5.4安裝head、ik中文分詞插件

es安裝maven打包工具wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz tar -xf apache-maven-3.3.9-bin.tar.gz mv apach