2. 程式人生 > >elk批量刪除索引

elk批量刪除索引

阿新 • • 發佈：2017-08-02
bin /tmp line ces name 同步 ont sea search

用了一段時間elk發現如果索引長時間不刪除，elk會越來越慢，重啟elasticsearch服務器節點之前同步時間也會很長

第一步：在elasticsearch節點上使用curl -XGET ‘http://192.168.3.164:9200/_cat/shards‘查看索引

[root@192-168-3-164 ~]#  curl -XGET ‘http://192.168.3.164:9200/_cat/shards‘ |more
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

 
100 57452  100 57452    0     0   467k      0 --:--:-- --:--:-- --:--:--  471k
laravel-oms26-online-2017.08.02              1 r STARTED     48 101.8kb 192.168.3.164 node2-192.168.3.164
laravel-oms26-online-2017.08.02              1 p STARTED     48 101.8kb 192.168.3.163 node1-192.168.3.163
laravel-oms26-online-2017.08
 
.02              4 r STARTED     65 118.1kb 192.168.3.165 node3-192.168.3.165
laravel-oms26-online-2017.08.02              4 p STARTED     65 118.1kb 192.168.3.163 node1-192.168.3.163
laravel-oms26-online-2017.08.02              2 p STARTED     42  61.4kb 192.168.3.164 node2-192.168.3.164
laravel-oms26-online-2017.08
 
.02              2 r STARTED     42  61.4kb 192.168.3.165 node3-192.168.3.165
laravel-oms26-online-2017.08.02              3 r STARTED     52 130.5kb 192.168.3.165 node3-192.168.3.165
laravel-oms26-online-2017.08.02              3 p STARTED     52 130.5kb 192.168.3.163 node1-192.168.3.163
laravel-oms26-online-2017.08.02              0 p STARTED     37 105.2kb 192.168.3.164 node2-192.168.3.164
laravel-oms26-online-2017.08.02              0 r STARTED     37 105.2kb 192.168.3.163 node1-192.168.3.163
etl213-online-2017.08.01                     1 r STARTED    649 244.6kb 192.168.3.165 node3-192.168.3.165
etl213-online-2017.08.01                     1 p STARTED    649 244.6kb 192.168.3.163 node1-192.168.3.163
etl213-online-2017.08.01                     4 r STARTED    673 295.3kb 192.168.3.164 node2-192.168.3.164
etl213-online-2017.08.01                     4 p STARTED    673 295.3kb 192.168.3.165 node3-192.168.3.165
etl213-online-2017.08.01                     2 r STARTED    663 264.1kb 192.168.3.164 node2-192.168.3.164
etl213-online-2017.08.01                     2 p STARTED    663 264.1kb 192.168.3.163 node1-192.168.3.163
etl213-online-2017.08.01                     3 p STARTED    640   280kb 192.168.3.164 node2-192.168.3.164
etl213-online-2017.08.01                     3 r STARTED    640   280kb 192.168.3.163 node1-192.168.3.163
etl213-online-2017.08.01                     0 r STARTED    670 286.2kb 192.168.3.165 node3-192.168.3.165
etl213-online-2017.08.01                     0 p STARTED    670 286.2kb 192.168.3.163 node1-192.168.3.163

第二步：過濾出想要刪除的索引存到臨時文件裏面 curl -XGET ‘http://192.168.3.164:9200/_cat/shards‘ |grep "2017\.08\.01" |grep 192.168.3.163 |awk ‘{print $1}‘ | uniq > elk-index.tmp

[root@192-168-3-164 ~]# curl -XGET ‘http://192.168.3.164:9200/_cat/shards‘ |grep "2017.08\.01" |grep 192.168.3.163 |awk ‘{print $1}‘ | uniq > elk-index.tmp
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 57452  100 57452    0     0   123k      0 --:--:-- --:--:-- --:--:--  123k
[root@192-168-3-164 ~]# cat elk-index.tmp 
wcf.core50-online-2017.08.01
etl211-online-2017.08.01
laravel-dujia-online-2017.08.01
dms217-online-2017.08.01
laravel-oms27-online-2017.08.01

第三步：刪除過濾出來的索引

for i in `cat elk-index.tmp`
   do 
      curl -XDELETE  http://192.168.3.164:9200/$i 
done

第四步為了方便可以在計劃任務裏面加定時任務刪除五天之前的日誌索引

[root@192-168-3-164 ~]# crontab -l
0 3 * * * bash /home/scripts/del_elasticseatch_index.sh

查看腳本文件內容cat /home/scripts/del_elasticseatch_index.sh

#!/bin/bash
#The index five days ago
curl -XGET ‘http://192.168.3.164:9200/_cat/shards‘ |grep 192.168.3.164 |awk ‘{print $1}‘ |grep `date -d "5 days ago" +%Y.%m.%d` |uniq > /tmp/index_name.tmp

for index_name in `cat /tmp/index_name.tmp`  
do
    curl -XDELETE  http://192.168.3.164:9200/$index_name
    echo "${FILE_NAME} delete success" >> /home/scripts/del_elasticseatch_index.log
done

elk批量刪除索引

相關推薦

elk批量刪除索引

bin /tmp line ces name 同步 ont sea search 用了一段時間elk發現如果索引長時間不刪除，elk會越來越慢，重啟elasticsearch服務器節點之前同步時間也會很長 第一步：在elasticsearch節點上使用curl -XGET

ELK批量刪除索引及叢集相關操作記錄-運維筆記

  線上部署了ELK+Redis日誌分析平臺環境, 隨著各類日誌資料來源源不斷的收集, 發現過了一段時間之後, ELK檢視會原來越慢, 重啟elasticsearch伺服器節點之前同步時間也會很長,  這是因為長期以來ELK收集的索引沒有刪除引起的! 以下是ELK批量刪除索引的操作記錄:

ELK 刪除索引只保留10天

pts delet days follow home let 執行 delete 定時 delelk.sh： #!/bin/bash#定時清除elk索引，10天DATE=date -d "10 days ago" +%Y.%m.%dcurl -XDELETE "h

分散式搜尋elasticsearch java API 之（六）------批量新增刪除索引

elasticsearch支援批量新增或刪除索引文件，java api裡面就是通過構造BulkRequestBuilder，然後把批量的index/delete請求新增到BulkRequestBuilder裡面，執行BulkRequestBuilder。下面是個例子： im

為什麼分次批量刪除一個帶索引的大表裡的資料會慢

我使用的是PL/SQL工具來進行刪除。  在這裡，分次的意思是指關閉PL/SQL後再開啟。 一個表，資料量很大，有幾億條，某欄位uindex做了索引。 如果開啟PL/SQL後一直執行 delete from mytable t where uindex<11675808

Linux 按時間批量刪除文件（刪除N天前文件）

die shel 條件 天前 fin dicom sort 目錄下的文件 -exec 需要根據時間刪除這個目錄下的文件，/home/lifeccp/dicom/studies，清理掉20天之前的無效數據。 可以使用下面一條命令去完成： find /home/life

存儲過程批量刪除

code arc 臨時 過程 閑來無事 value lec end ont 今天閑來無事，把批量刪除由代碼刪除 改成存儲過程刪除 SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO ALTER procedure [dbo]

bos 第3天(easyui彈窗邊界問題、取派員的添加、修改和批量刪除)

檔案 劃分 bug servle 手機號 rules function project rem BOS項目筆記 第3天 今天內容安排： 1、解決window窗口bug 2、bos項目整體需求分析（基礎設置、取派、中轉、路由、報表） 3、取派員添加功能 4、jQuery

Hibernate批量刪除的兩種方式

true ide inf try from tracking 批量刪除 query 個數 第一種：使用Hibernate映射類對對象進行封裝操作 ----------------------------------------------------------------

YII2 Gridview 批量刪除

this dir his div get html table gets oid 1. 給GridView取個ID <?= GridView::widget([ ‘dataProvider‘ => $dataProvider,

批量刪除mysql一個庫所有數據表方法

mysql 刪除數據表 批量批量刪除mysql一個庫所有數據表方法刪除表的命令drop table 表名;如果有100張表，手工執行100次，想想就崩潰。下面提供一個使用information_schema庫的方案來批量刪除數據表：SELECT CONCAT(‘drop table ‘,table_name,

sql Server如何執行批量插入和批量刪除

emc pcs -- frog bps eno bbu ads spc 平時我們sql server執行查詢語句都是通過 insert into 表名（字段名，字段名） values(插入值，插入值) --單條插入語句--- insert into Reader(read

關於jquery全選反選 批量刪除的一點心得

批量刪除 rem cnblogs success 需要 rip 多說 reac == 廢話不多說直接上代碼： 下面是jsp頁面的html代碼： <table id="contentTable" class=""> <thead>

批量刪除數據庫表

clas open ble eal lec obj rom nvarchar lar 由於工作的原因，有時候會對數據庫表進行批量的處理，這時候我們可以用遊標對數據庫進行批量刪除表操作 DECLARE @Table NVARCHAR(30) DECLARE tmpCur C

【EasyUi DataGrid】批量刪除

眼睛 cat += 表格 jquer csharp obj clas 最簡 DataGrid是我們做網頁經常使用到的組件之中的一個，對它的操作也無非是增刪改查操作。單條數據的增刪改相對來說比較簡單。添加、改動能夠直接在DataGrid中進行，也能夠用彈出框

mysql批量刪除相同前綴的表格

安裝 false 表格 tool true 網站後臺 lba php 點擊 原文：http://www.open-open.com/code/view/1446691883076 如果你網站後臺沒法運行mysql,就進phpmyadmin,然後運行一段代碼.假如要刪除織

全選+批量刪除

ring head edi size over clear arr page eee <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <%@ include fil

批量刪除redis數據庫中的key

訪問 包含 -c 需要 linu flush 默認 方法 cal 在redis數據庫中，如果大量以某些字段開頭或結尾的key，一般都會用到命令keys進行模糊匹配。但是當我們想刪除批量指定的keys，卻犯愁了，因為redis沒有提供相關的命令。那我們怎麽操作能實現預期的效果

批量刪除

sel 分享 批量 png blog ima alt ble all <td class="tableHeader"><input type="checkbox" name="selid" onclick="checkAll(‘id‘,this)"

mysql索引 ->創建索引、修改索引、刪除索引的命令語句

兩種 uniq 語法 hang records column rop tps 含義 查看表中已經存在 index：show index from table_name; 創建和刪除索引索引的創建可以在CREATE TABLE語句中進行，也可以單獨用CREATE INDEX