lucene segment的產生，flush， commit與es的refresh，flush
1 segment的產生
當索引一個文件時，如果存在空閒的segment（未被其他執行緒鎖定），則取出空閒segment list中的最後一個segment（LIFO)，並鎖定，將文件索引至該segment，
找達到flush條件的segment，然後解鎖，歸還至空閒segment list，如果有達到flush條件的segment，flush該segment。
如果不存在，則建立新的segment，重複上述步驟。
總結1：如果並行的執行向一個索引，索引文件，則需要不同的segment。
相關程式碼：
//索引一個文件。 IndexWriter.updateDocument //索引一個文件。DocumentsWriter.updateDocument //一個執行緒索引時鎖定一個ThreadState物件，索引後歸還至free list。 ThreadState //ThreadState的屬性，一個DocumentsWriterPerThread對應一個segment，flush後，該ThreadState的dwpt為null， //下次使用該ThreadState，建立新的dwpt，新的segment。 DocumentsWriterPerThread
2 flush條件
索引一個文件後，找出是否有達到flush條件的segment。
1：如果maxBufferedDocs不等於-1，且當前segment在記憶體中的doc數量大於等於maxBufferedDocs（預設-1），則標記該segment的flushPending。
2：如果不滿足1，且ramBufferSizeMB不等於-1，當記憶體中所有segment之和大於ramBufferSizeMB時（預設16.0)，找出記憶體中最大的且未標記flushPending的segment，標記該segment的flushPending。
3：如果當前1，2之後，當前segment還未標記flushPending，則當前segment大於perThreadHardLimitMB(預設1945)，標記該segment的flushPending。
123之後，如果當前segment被標記，則flush當前segment。否則從flushQueue中poll一個segment，如果flushQueue（呼叫flush時，將所有segment加入queue）為空，則遍歷segment取第一個標記flushPending的segment進行flush。
相關程式碼：
//查詢符合flush的segment。 DocumentsWriterFlushControl.doAfterDocument //flush當前segment前，reset當前dwpt，下次使用當前ThreadState需要新的dwpt，新的segment。 DocumentsWriterFlushControl.internalTryCheckOutForFlush //flush當前segment，或者其他segment。 DocumentsWriter.postUpdate
注意：除了達到flush條件的自動flush，還可以通過呼叫api flush，如：
1：es refresh
2：es flush
3：es syncedFlush
3 flush
flush將記憶體中的segment寫到檔案，但不執行fileChannel.force(nio，bio則fileOutputStream.flush)，一部分資料可能在buffer中。
相關程式碼：
//flush一個segment。 DocumentsWriter. DocumentsWriterPerThread.flush DefaultIndexingChain.flush //寫nvd, nvm檔案。 writeNorms //寫dvd, dvm檔案。 writeDocValues //寫dii, dim檔案。 writePoints //寫fdt, fdx檔案（該檔案在首次indexing時建立，flush時寫入值）。 storedFieldsConsumer.flush //寫doc, pos, tim, tip檔案。 termsHash.flush //寫fnm檔案。 docWriter.codec.fieldInfosFormat().write //寫cfs, cfe, si檔案。 DocumentsWriterPerThread.sealFlushedSegment //刪除cfs, cfe, si之外的檔案。 IndexWriter.doAfterFlush
4 commit
commit執行fileChannel.force，將buffer中的資料寫到磁碟。具體步驟為：
1：flush all segments 將記憶體中所有的segments寫到檔案。
2：依次sync pending_segments_n，segment files（fileChannel.force）將這寫檔案同步到磁碟。
3：將pending_segments_n重新命名為segments_n，刪除舊的segments_n-1。
4：如果步驟1 flush了segment，執行maybeMerge，如果達到merge條件，將會merge。
相關程式碼：
//commit。 IndexWriter.commit IndexWriter.commitInternal IndexWriter.prepareCommitInternal //flush segments。 DocumentsWriter.flushAllThreads //sync file。 IndexWriter.startCommit Directory.sync IOUtils.fsync FileChannel.force FileChannelImpl.force //更新commit資訊segments_n，刪除舊的segments_n-1。 IndexWriter.finishCommit //如果達到merge條件，將會merge。 IndexWriter.maybeMerge
5 maybeMerge
flush或者commit後，如果flush了segment，執行maybeMerge，如果達到merge條件，將執行merge。具體步驟為：
1：將segments按size降序排列。
2：計算total segments size 和 minimum segment size。
3：total segments size過濾掉tooBigSegment(大於max_merged_segment/2.0)的segment，並記錄tooBigCount；minSegmentBytes如果小於floor_segment（預設2mb)，取2mb。
4：計算allowedSegCountInt，當segments（不包含tooBigSegment）數量大於此數，將觸發merge。
5：從大到小（之前的降序排列），貪心找出不大於maxMergeAtOnce個， 且size總和不大於maxMergedSegmentBytes個segments進行merge。
相關程式碼：
//maybeMerge。 IndexWriter.maybeMerge IndexWriter.updatePendingMerges //查詢可merge的segments。 TieredMergePolicy.findMerges //執行merge。 ConcurrentMergeScheduler.merge
6 es refresh
主要執行lucene的flushAllThreads和maybeMerge。
相關程式碼：
//es refresh。 InternalEngine.refresh //lucene refresh。 ReferenceManager.maybeRefreshBlocking DirectoryReader.openIfChanged StandardDirectoryReader.doOpenIfChanged IndexWriter.getReader //flush segments。 DocumentsWriter.flushAllThreads //如果flush了segment，則執行maybeMerge。 IndexWriter.maybeMerge
7 es flush
主要執行步驟為：
1：prepareCommit translog：
1.1 備份 translog.ckp到translog-1.ckp。
1.2 fsync translog-1.ckp以及translog 資料夾。
1.3 建立新的translog資料檔案translog-n.tlog，更新translog.ckp（寫入checkPoint）。
2：commit indexWriter(見4 commit)。
3：refresh（見6 es refresh)。
4：commit translog：刪除備份的translog-1.ckp以及舊的translog資料檔案translog-n-1.tlog。
相關程式碼：
//es flush。 InternalEngine.flush //prepareCommit translog。 Translog.prepareCommit //es commit index writer。 InternalEngine.commitIndexWriter //lucene commit。 IndexWriter.commit //es refresh。 InternalEngine.refresh //commit translog。 Translog.commit
總結2：lucene的flush是指將記憶體中的segment，寫到磁碟但不執行fileChannel.force，一部分資料會在buffer中；commit會呼叫force，將buffer中的資料寫到磁碟。
es的refresh呼叫lucene的flush；flush呼叫lucene的commit。