elasticsearch 筆記十六：phase
query phase
（1）搜尋請求傳送到某一個coordinate node，構構建一個priority queue，長度以paging操作from和size為準，預設為10
（2）coordinate node將請求轉發到所有shard，每個shard本地搜尋，並構建一個本地的priority queue
（3）各個shard將自己的priority queue返回給coordinate node，並構建一個全域性的priority queue
fetch phase
（1）coordinate node構建完priority queue之後，就傳送mget請求去所有shard上獲取對應的document
（2）各個shard將document返回給coordinate node
（3）coordinate node將合併後的document結果返回給client客戶端
相關推薦
elasticsearch 筆記十六：phase
query phase （1）搜尋請求傳送到某一個coordinate node，構構建一個priority queue，長度以paging操作from和size為準，預設為10 （2）coordinate node將請求轉發到所有shard，每個shard本地搜尋，並構建一個本地的prio
elasticsearch 筆記十九：倒排索引
倒排索引的結構 （1）包含這個關鍵詞的document list （2）包含這個關鍵詞的所有document的數量：IDF（inverse document frequency） （3）這個關鍵詞在每個document中出現的次數：TF（term frequency） （4）這個關鍵詞在這個
elasticsearch 筆記十八：索引管理
1、建立索引 建立索引的語法 PUT /my_index { "settings": { ... any settings ... }, "mappings": { "type_one": { ... any mappings ... }, "
elasticsearch 筆記十七：基於scroll技術滾動搜尋大量的資料
如果一次性要查出來比如10萬條資料，那麼效能會很差，此時一般會採取用scoll滾動查詢，一批一批的查，直到所有資料都查詢完處理完。使用scoll滾動搜尋，可以先搜尋一批資料，然後下次再搜尋一批資料，以此類推，直到搜尋出全部的資料來 scol
elasticsearch 筆記十五：相關度評分TF&IDF演算法簡介
演算法介紹 relevance score ,就是計算出一個索引中的文字，與搜尋文字，他們之間的關係，它們之間的關聯匹配度是由Elasticsearch使用的 term frequency/inverse document frequency 演算法，簡稱TF/IDF演算法 Term f
elasticsearch 筆記十四：_filter 和query 相關原理
GET /company/employee/_search { "query":{ "must":[ "match":{ "join_date": "2016-01-01" }
elasticsearch 筆記十一：搜尋請求和timeout
{ "took": 10, //花費多少ms "timed_out": false, "_shards": { "total": 9, //到多少shard "successful": 9, "failed": 0 }, "hits": {
筆記十六：“點點點”就能做到的一款分散式爬蟲管理框架——Gerapy
前言：在上兩篇部落格中，我們解決了大量資訊的爬取問題分散式爬蟲，用scrapy_redis把專案分別部署放到多個遠端伺服器上，提高了爬取資料的速度。又做到了使用scrapyd，在遠端伺服器上安裝scrapyd,啟動scrapyd服務，把scrapy專案通過scr
tensorflow學習筆記十六：tensorflow官方文件學習 Image Recognition（Inception v3模型）
我們大腦的成像過程似乎很容易。人們毫不費力地就能區分出獅子和美洲虎，閱讀符號，或是識別面孔。但是這些任務對於計算機而言卻是一個大難題：它們之所以看上去簡單，是因為我們的大腦有著超乎想象的能力來理解影象。 在過去幾年裡，機器學習在解決這些難題方面取得了巨大的進步。其中，
python cookbook學習筆記十六：類和物件(1)
我們經常會對列印一個物件來得到物件的某些資訊。 class pair: def __init__(self,x,y): self.x=x self.y=y if __name__=='__main__': p=pair
elasticsearch 筆記十五：相關度評分TF&IDF演算法簡介
演算法介紹 relevance score ,就是計算出一個索引中的文字，與搜尋文字，他們之間的關係，它們之間的關聯匹配度是由Elasticsearch使用的 term frequency/inverse document frequency 演算法，簡稱TF/IDF演算法
Linux學習筆記十六：shell函數練習
ini ip add sed -n 無需 狀態 rest 十六 inux emctl 可以組織一些常用的方法，寫到函數裏面，作為公共的方法方便shell腳本調用，這樣可以簡化步驟，提高可讀性，不用重復造輪子了。 # 調用系統公共函數方法 . /etc/init.d/func
elasticsearch 筆記十： 寫一致性原理和quorum
consistency ,one (primary shard),all(all shard),quorum(default) put /index/type/id?consistency=quorum one :要求這個寫操作，只要有一個primary shard 是
論文閱讀筆記二十六：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks（CVPR 2016）
論文源址：https://arxiv.org/abs/1506.01497 tensorflow程式碼：https://github.com/endernewton/tf-faster-rcnn 摘要 目標檢測依賴於區域proposals演算法對目標的位置進
opencv學習筆記三十六：AKAZE特徵點檢測與匹配
KAZE是日語音譯過來的 ， KAZE與SIFT、SURF最大的區別在於構造尺度空間，KAZE是利用非線性方式構造，得到的關鍵點也就更準確（尺度不變性 ）； Hessian矩陣特徵點檢測 ，方向指定，基於一階微分影象（旋轉不變性 ） ； 描述子生成 ，歸一化處理（光照不變
opencv學習筆記五十六：分水嶺分割演算法
一、基於分水嶺的分割演算法是受自然界地貌啟發而來的對灰度圖的地形學解釋，我們考慮以下三點： 1. 區域性最小值點，該點對應一個盆地的最低點，當我們在盆地裡滴一滴水的時候，由於重力作用，水最終會匯聚到該點。注意：可能存在一個最小值面，該平面內的都是最小值點。 2. 盆地的其
C#回顧學習筆記三十六：字典集合Dictionary
1.字典集合是什麼？字典集合本身像它名字那樣通俗易懂，也就是“根據**查找出**”。字典集合的格式通常是： Dictionary<鍵的型別,值的型別> dic = new Dictionary<鍵的型別,值的型別>(); Dictionary字典集合
Android學習筆記三十六：android之socket程式設計例項
注意點：註冊訪問的網路許可權；android中UI執行緒不能有訪問網路的操作，否則會報android.os.NetworkOnMainThreadException的異常 <uses-permission android:name="
EF6學習筆記二十六：連接彈性
相同 fck master tel 學習筆記 mage ber 個數 azure 要專業系統地學習EF推薦《你必須掌握的Entity Framework 6.x與Core 2.0》。這本書作者（汪鵬，Jeffcky）的博客：https://www.cnblogs.com/C
【Unity 3D】學習筆記四十六：輸入與控制——鍵盤事件
在遊戲中，玩家控制主角移動，按鍵攻擊，選擇行走。都需要在程式中監聽玩家的輸入。unity為開發者提供了input庫，來支援鍵盤事件，滑鼠事件以及觸控事件。本文主要回顧鍵盤事件，以後會逐文複習滑鼠以及觸控事件。 鍵盤事件 一般的PC鍵盤有104個不同的按鍵，在程式中通過監