Hello,
 
Suite à la lecture d'un article sur linuxfr: http://linuxfr.org/news/gestion-de [...] rch-kibana je me suis intéressé à ce sujet.
 
J'ai plein de logs à gérer: équipements réseaux, services, applicatifs ....
 
J'ai commencé par installer logstash + elasticsearch + kibana sur un serveur et redirigé les logs de mon firewall (cisco asa) sur logstash. Cela fonctionne pas de souci.
 
J'aimerais aller plus loin en ajoutant les logs de squid, il tourne sur un serveur distinct, tous est loggué dans un fichier.
 
Ce que j'ai compris, c'est qu'il faut utiliser un "shipper", j'ai trouvé: logstash (qui fait aussi shipper visiblement), lumberjack, beaver ... je ne sais pas lequel choisir.  
J'ai testé lumberjack, il redirige bien les events vers mon logstash mais celui ci plante sans raison au bout de quelques secondes (le process java est killé ou ne répond plus, j'ai activé les logs du garbage je ne vois pas de problème mémoire).  
J'ai du mal à comprendre comment fonctionne beaver.
 
Par ailleurs, j'ai lu qu'il était bon d'utilise Redis comme "Broker", là je suis un peu perdu ... j'ai du mal à voir à quoi ca sert et comment il interagit avec les autres services
 
Il y a des gens qui ont implémentés ces outils ?
 
 

oui
 
ici c'est shipping tout en syslog sur 127.0.0.1, qui envoie vers syslog central, qui écrit dans des fichiers plats et qui forwarde ensuite vers un logstash. la pile logstash est la suivante :
 
(syslog => ) collecteur LS => redis => analyzeur LS (=> ES)
 
le redis sert de buffer en cas de pic de log; mais aussi pour les maintenances de l'analyzeur (qui sont bien plus fréquentes que celles du collecteur)
 

Merci,
 
J'ai bien avancé dans ma compréhension de ces outils, malheureusement je suis confronté à un bug dans logstash  concerné les caractères mal encodés: https://logstash.jira.com/browse/LOGSTASH-1353
 
J'analyse des logs apache et squid, logstash plante tout le temps