@ZenikaLille / @EmmanuelDemey

Beats

  • Agents permettant de récolter de l'information 
    • FileBeat
    • MetricBeat
    • PacketBeat
    • ...
  • Clients écrits en Go
  • L'information sera envoyée à un Logstash, ElasticSearch, ...
  • Configuration dans le fichier filebeat.yml

FileBeat

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/*.log


output.elasticsearch:
  hosts: ["192.168.1.42:9200"]
  • Possibilité de définir plusieurs prospectors
  • Traitement du document avant envoie
  • Plusieurs Output disponibles
    • ElasticSearch, Kafka, Console, Logstash, Redis, File

FileBeat

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/*.log

- input_type: log
  paths:
    - "/var/log/apache2/*"
  fields:
    apache: true

output.elasticsearch:
  hosts: ["192.168.1.42:9200"]

Filebeat

./filebeat -c config.yml

Logstash

  • ETL permettant de : 
    • Récupérer de la données (input)
    • Traiter la données (filter)
    • Envoyer la données (output)
  • Plusieurs connecteurs disponibles : ElasticSearch, Redis, Kafka, Beat, JDBC, ...
  • Rentre en concurrence avec la fonctionnalité IngestNode d'ElasticSearch

Logstash - input

input {
    file {
        path => "/var/*.log"
    }

    elasticsearch {
        hosts => "localhost"
        query => '{ "query": { ... }'
    }
}
  • Définition de l'origine des données
  • Possibilité d'avoir plusieurs input dans la même instance
  • Plusieurs input disponibles : Beat, ElasticSearch , Http, File, Redis, Logstash, ...

Logstash - filter

filter {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{DATA:syslog_program}..." }
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
    mutate {
        remove_field => ["syslog_timestamp", "message"]
    }
}
  • Pipeline de transformation du message lu
  • Possibilité de découper la données : grok
  • Suppression / Ajout / Modification des propriétés du message
  • Possibilité d'utiliser des conditions if

Logstash - output

output {
    stdout {
        
    }

    elasticsearch {
        hosts => ["localhost"]
    }
}
  • Destination des données traitées
  • Possibilité d'avoir plusieurs output dans la même instance
  • Plusieurs output disponibles : Beat, ElasticSearch , Http, File, Redis, Logstash, mail ...

Logstash

./bin/logstash -f config.conf

ElasticSearch

  • Solution pour créer un moteur de recherche
  • Se base sur le produit Lucene, avec en plus : 
    • Clustering
    • Agrégation
    • API REST
    • ...
  • Utilisable via une API REST 
    • Configuration du cluster
    • Indexation des documents
    • Recherches
  • Verbes : GET, POST, PUT, DELETE

  • Port : 9200 par défaut
  • Index, Type : multiples premier,second, _all, logstash-*
  • Action : _search, _mapping, _settings, _analyze, _source...
  • Body : document, requête, configuration
  • Optionnel : port, index, type, id, action, paramètres
POST http://host:port/index/type/id/_action?param=42
{ "clef": "valeur" }

ElasticSearch

ElasticSearch - Indexation

PUT /zenika-index/nightclazz/1
{
    "name": "Stack Elastic",
    "speaker": "Emmanuel DEMEY"
}

GET /zenika-index/nightclazz/1

DELETE /zenika-index/nightclazz/1
  • Un Document à un id, un type et est stocké dans un index
  • Utilisation des méthodes HTTP pour manipuler un document
    • POST / PUT pour le créer et modifier
    • GET pour récupérer
    • DELETE pour le supprimer

ElasticSearch - Recherche

POST /zenika-index/nighclazz/_search
{ "query":{
    "query_string":{
      "query":"batch"
    }
  }
}
  • Plusieurs types de recherches sont disponibles
    • Attention certaines d'entres elles sont réalisées sur des données qui ne sont pas analyzées
{ "hits": {
    "hits": [
      {
        "_index": "zenika-index", 
        "_type": "elasticsearch", 
        "_id": "1",
        "_score": 0.076713204,
        "_source": {"titre": "Spring Batch in Action"}
      }
    ], ...
  } ... }

Les Entrailles d'ElasticSearch

ElasticSearch - Mapping

PUT /zenika-index/_mapping/nightclazz
{ 
    "properties": {
        "name": {
          "type": "text",
          "fields": {
            "original":    {"type": "keyword"}
          }
        },
        "attendees":{ "type":"double" },
        "speaker": {
          "type":"text"
        }
}
  • Etape primordiale pour avoir un cluster ES performant
  • Nécessite une réindexation des données
  • Définir pour chaque propriété : 
    • le type
    • l'analyser à utiliser
    • désactivation de certaines fonctionnalités si pas nécessaire

ElasticSearch - Analyzers

  • S'applique uniquement aux champs de type string

    Tant va la cruche à l'eau qu'à la fin elle se brise

    → tant,va,cruch,eau,fin,bris

  • Découpage en mots (tokens)
  • Accents, casse, caractère spéciaux, html stripping
  • Mots de liaison (stopwords), synonymes, conjugaison / pluriel (stemming)
  • En général spécifique à une langue
  • Utilisé lors de l'indexation et de la recherche
  • Configuré à froid au niveau de l'index
  • Multi-fields : Un champ peut être analysé plusieurs fois, avec des analyseurs différents

ElasticSearch - Query

POST /zenika-index/nightclazz/_search
{
  "query": { "match": {"titre": "action"}},
  "sort": [{"titre": "asc"},"_score"],
  "from": 0, "size": 100,
  "aggs": {"stats_prix": {"stats": {"field": "prix"}}},
  "highlight": {"fields": {"titre": {}}}
}

ElasticSearch - Avec Analyze

POST /zenika-index/nightclazz/_search
{ "query": {
      "match_all": {}}}


POST /zenika-index/nightclazz/_search
{ "query": {
      "match": {
        "titre": "spring" }}}

POST /zenika-index/nightclazz/_search
{ "query": {
      "query_string": {
        "query": "spring AND batch" }}}

ElasticSearch - Sans Analyze

POST /zenika-index/nightclazz/_search
{ "query": {
      "term": {
        "editeur.code": "manning" }}}

POST /zenika-index/nightclazz/_search
{ "query": {
  "range": {
    "prix": {
      "gt": 10,
      "lte": 30 }}}}

ElasticSearch - bool

POST /zenika-index/nightclazz/_search
{ 
    "query": {
      "bool": {
        "must": [
          { "match": { "titre": "spring" }},
          { "match": { "auteurs": "cogoluegnes" }}
        ],
        "should": [
          { "match": { "editeur": "manning" }}
        ]
       }
    }
}

ElasticSearch - Agrégation

  • Quels usages ?
    • Affiner une liste de résultats
      • Afficher des options de filtrage
      • Grouper les résultats par type / onglet
    • Analyser les résultats
      • Présenter les résultats sous forme de diagrammes
  • S'applique sur les documents retournés par la query
    • Hors pagination, projection...
  • Autrefois appelées facettes

ElasticSearch - Agrégation

POST /zenika-index/nightclazz/_search
{ 
    "query": { 
        "match": {"titre": "action"}
    },
    "aggs": {
        "titre_terms": {
          "terms": {
            "field": "titre",
            "size": 5 }},

        "prix_histo": {
          "histogram": {
            "field": "prix",
            "interval": 2 }},
    
        "prix_avg": {
          "avg": {
            "field": "prix" }}}}
>>>Response: POST /zenika-index/nightclazz/_search
{ ...
  "aggregations":{
    "titre_terms": {
      "buckets": [
        { "key": "action", "doc_count": 6 },
        { "key": "spring", "doc_count": 2 },
        { "key": "batch",  "doc_count": 1 },...]},
    "prix_histo": {
      "buckets": [
        { "key": 40, "doc_count": 2 },
        { "key": 42, "doc_count": 1 },
        { "key": 44, "doc_count": 0 }, ...]},
    "prix_avg": {
      "value": 44.74 }}}

ElasticSearch - Agrégation

  • Une agrégation de type bucketing
    • terms, histogram, date_histogram, range, filter...
    • peut contenir des sous-agrégations de type bucketing ou métriques
    • classifie les documents en groupes/sous-groupes appelés buckets (par prix, par terme, par jour...)
    • compte le nombre de document par bucket
  • Une agrégation de type metric
    • min, max, stats...
    • fait des statistiques sur les champs numériques, date...

ElasticSearch

./bin/elasticsearch

Kibana

  • Interface Web permettant des créer des dashboards
    • Résultat de recherches
    • Camembert
    • Stack Chart
    • Line Chart
    • Tag Cloud
    • Map
    • ...

Kibana

./bin/kibana

Watcher

  • Fonctionnalité disponible dans le plugin x-pack
     
  • Être alerter dès qu'une condition est respecté
     
  • Règle définie via un document indexé dans ElasticSearch
     
  • Nécessité d'installer le plugin x-pack

Watcher

PUT _xpack/watcher/watch/log_errors
{
  "trigger" : { 
    "schedule" : {
      "interval" : "5m"
    }
  },
  "input" : { 
    "search" : {
      "request" : {
        "indices" : "log-events",
        "body" : {
          "size" : 0,
          "query" : { "match" : { "status" : "error" } }
        }
      }
    }
  },
  "condition" : { 
    "compare" : { "ctx.payload.hits.total" : { "gt" : 5 }}
  },
  "actions" : { 
    "my_webhook" : {
      "webhook" : {
        "method" : "POST",
        "host" : "mylisteninghost",
        "port" : 9200,
        "path" : "/monitoring",
        "body" : "Encountered {{ctx.payload.hits.total}} errors"
      }
    }
  }
}
Made with Slides.com