Zentraler Logserver
Splunk, Graylog und ElasticSearch/Kibana
Umgebung
Webshop
120k Besucher
Java/Tomcat
Reverse Proxy Stack
VMs
Getrenntes Dev-System
Probleme/Anforderungen
2 Proxy Stacks (NGinx, Varnish, Apache)
5 Applikationsserver (Backend + 4 Frontend)
Isolierte Produktionssysteme
Proxy Stack
3 Applikationsserver
NAS (NFS)
Logdaten
Accesslog NGinx
Accesslog Apache
App Log (Log4J)
VarnishNCSA Log*
Datenraten
NGinx ~100 /s
Apache ~ 60 /s
App Logs ~ 20 /s
Übertragung
Produktiv System zum Dev-System
Über Firewalls
TLS notwendig
Verluste nicht akzeptabel
Blocking nicht akzeptabel (Syslog)
Mehrzeilenlogs (Log4J)
Kaum bis keine Eingriffe in das Logging der Apps
POC
Nur Dev-System
Geringe Ressourcen
Graylog/Logstash
Kaum Konfig
Versuch 1
Syslog UDP von Proxys
Logstash auf den App-Nodes Fileinput/Graylog
Graylog-Radio
RabbitMQ
Graylog-Indexer
Ergebnisse 1
Kein TLS
Syslog UDP und
GELF UDP > Firewall + Verlust
Radio+MQ+Indexer > Speicher
Datenverlust
Versuch 2
Logstash-Forwarder
Logstash
Graylog
Ergebnisse 2
TLS
TCP
Logstash Forwarder: Klein, Logrotate, ACK, "neue Dateien"
Logstash 1.4 Bug: Speicherleck
Graylog zu langsam
Versuch 3
Logstash Forwarder
Logstash
Elasticsearch direkt
Kibana3/4
Ergebnisse 3
TLS
TCP
Logstash 1.5 Beta (Bug weg)
Im Maximum 600 Events/s
Teils 300MB/s
Ergebnisse 3
Logstash modifiziert Einträge
Datentypen
Plugin UserAgent
Plugin GeoIP
Metrics
Multiline
Grok
Ergebnisse 3
Seit 22.12.2014
320 Mio Einträge
280GB
242 Shards
Access-Log Dashboard
App-Log Dashboard
GeoIP Filter
UserAgent Filter
Ergebnis ElasticSearch
Aufwand eher hoch
Ergebnis fast gut
Beta Software
Antworten aus Logs aufwändig
Splunk
POC
Lizenz für 20GB Tag
Splunk-Forwarder
Userspace
CLI: add, remove Dateien/Pfade
Splunk Server
Web GUI
Dashboards
Konfig
Userverwaltung
Mails
POC
Setup mit TLS (zwingend)
Pro Server 15 Minuten
Indexer Setup 30 Minuten
Splunk Features
Archivierung der Daten
Log Typen Erkennung
Auto Felder pro Typ
Extrahieren von Daten und Events / Nachträglich
Verkettete Suchen
type=access | geoip=ip | top 10 countrys by sum(count)
Grafische Darstellung in der Suche
Mobile Access
Splunk Features
Inputs TCP, UDP, Dateien, Scripte
Typen in großer Menge (accesslogs, log4j, mysqld,...)
Forwarder
Cluster
Remote Management der Indexer und Forwarder
Splunk für Admins
Suche
Zeitfenster
Event Mail
Pro Aktiv
Zentrale Ablage für Logs
Splunk für Bosse
Apps
Einfach eigene Felder
Grafiken/Mobile
Executive Dashboards ohne Suche
Excel Export
Splunk Preise
Verhandlungssache :)
40k / 5GB
12k / 20GB
Kostenlos bis 500MB
Lohnt sich das?
Ja, wenn man Wissen aus Logs generieren muss
Ja, wenn man Support und SLA braucht
Ja, wenn man unter 500m ist :)
Nicht, wenn man nur in Logs suchen will oder Graylog es auch tut
Fragen?
Made with Slides.com