Eliminar índices antiguos de ElasticSearch con Curator

Uno de los principales problemas que podemos tener con nuestro entorno ELK ( ElasticSearch, Logstash y Kibana) es la gran cantidad de información que puede llegar a almacenar y el espacio en disco que se requiere para ello. Para solucionar este problema Elastic ha creado Curator, el cual puede realizar tareas de mantenimiento sobre ElasticSearch siguiendo una sencillas reglas que podemos definir nosotros.

Entre las múltiples acciones que tiene Curator, la que nos interesa para este caso es Delete indices, que utilizaremos para eliminar los índices de más de 45 días.

Curator está desarrollado en Python, por lo que tendremos que instalar Python pip antes de nada:

Ahora ya podemos instalar Curator:

Por defecto Curator utiliza el archivo de configuración  ~/.curator/curator.yml , el cual habría que crear, pero en nuestro caso vamos a crearlo en /opt/curator/curator.yml:

También debemos crear un Action file para definir las acciones a realizar por Curator, lo haremos en /opt/curator/borro_antiguos.yml :

Ahora si queremos ejecutarlo para comprobar que funciona bien:

Como vemos que funciona perfectamente, creamos una tarea programada en crontab, para ello ejecutamos:

Y para que se ejecute diariamente a las 00:00h, añadimos las siguientes líneas:

Esta tarea genera diariamente un archivo  /opt/curator/curator.log con el resultado de cada la última ejecución.

 

 

 


Enlaces de interés:

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *


*