@ZenikaLille / @EmmanuelDemey

Beats

• Agents permettant de récolter de l'information 
  • FileBeat
  • MetricBeat
  • PacketBeat
  • ...
• Clients écrits en Go
• L'information sera envoyée à un Logstash, ElasticSearch, ...
• Configuration dans le fichier filebeat.yml

FileBeat

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/*.log


output.elasticsearch:
  hosts: ["192.168.1.42:9200"]

• Possibilité de définir plusieurs prospectors
• Traitement du document avant envoie
• Plusieurs Output disponibles
  • ElasticSearch, Kafka, Console, Logstash, Redis, File

FileBeat

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/*.log

- input_type: log
  paths:
    - "/var/log/apache2/*"
  fields:
    apache: true

output.elasticsearch:
  hosts: ["192.168.1.42:9200"]

Filebeat

./filebeat -c config.yml

Logstash

• ETL permettant de : 
  • Récupérer de la données (input)
  • Traiter la données (filter)
  • Envoyer la données (output)
• Plusieurs connecteurs disponibles : ElasticSearch, Redis, Kafka, Beat, JDBC, ...
• Rentre en concurrence avec la fonctionnalité IngestNode d'ElasticSearch

Logstash - input

input {
    file {
        path => "/var/*.log"
    }

    elasticsearch {
        hosts => "localhost"
        query => '{ "query": { ... }'
    }
}

• Définition de l'origine des données
• Possibilité d'avoir plusieurs input dans la même instance
• Plusieurs input disponibles : Beat, ElasticSearch , Http, File, Redis, Logstash, ...

Logstash - filter

filter {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{DATA:syslog_program}..." }
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
    mutate {
        remove_field => ["syslog_timestamp", "message"]
    }
}

• Pipeline de transformation du message lu
• Possibilité de découper la données : grok
• Suppression / Ajout / Modification des propriétés du message
• Possibilité d'utiliser des conditions if

Logstash - output

output {
    stdout {
        
    }

    elasticsearch {
        hosts => ["localhost"]
    }
}

• Destination des données traitées
• Possibilité d'avoir plusieurs output dans la même instance
• Plusieurs output disponibles : Beat, ElasticSearch , Http, File, Redis, Logstash, mail ...

Logstash

./bin/logstash -f config.conf

ElasticSearch

• Solution pour créer un moteur de recherche
• Se base sur le produit Lucene, avec en plus : 
  • Clustering
  • Agrégation
  • API REST
  • ...
• Utilisable via une API REST 
  • Configuration du cluster
  • Indexation des documents
  • Recherches

• Verbes : GET, POST, PUT, DELETE

• Port : 9200 par défaut
• Index, Type : multiples premier,second, _all, logstash-*
• Action : _search, _mapping, _settings, _analyze, _source...
• Body : document, requête, configuration
• Optionnel : port, index, type, id, action, paramètres

POST http://host:port/index/type/id/_action?param=42
{ "clef": "valeur" }

ElasticSearch

ElasticSearch - Indexation

PUT /zenika-index/nightclazz/1
{
    "name": "Stack Elastic",
    "speaker": "Emmanuel DEMEY"
}

GET /zenika-index/nightclazz/1

DELETE /zenika-index/nightclazz/1

• Un Document à un id, un type et est stocké dans un index
• Utilisation des méthodes HTTP pour manipuler un document
  • POST / PUT pour le créer et modifier
  • GET pour récupérer
  • DELETE pour le supprimer

ElasticSearch - Recherche

POST /zenika-index/nighclazz/_search
{ "query":{
    "query_string":{
      "query":"batch"
    }
  }
}

• Plusieurs types de recherches sont disponibles
  • Attention certaines d'entres elles sont réalisées sur des données qui ne sont pas analyzées

{ "hits": {
    "hits": [
      {
        "_index": "zenika-index", 
        "_type": "elasticsearch", 
        "_id": "1",
        "_score": 0.076713204,
        "_source": {"titre": "Spring Batch in Action"}
      }
    ], ...
  } ... }

Les Entrailles d'ElasticSearch

ElasticSearch - Mapping

PUT /zenika-index/_mapping/nightclazz
{ 
    "properties": {
        "name": {
          "type": "text",
          "fields": {
            "original":    {"type": "keyword"}
          }
        },
        "attendees":{ "type":"double" },
        "speaker": {
          "type":"text"
        }
}

• Etape primordiale pour avoir un cluster ES performant
• Nécessite une réindexation des données
• Définir pour chaque propriété : 
  • le type
  • l'analyser à utiliser
  • désactivation de certaines fonctionnalités si pas nécessaire

ElasticSearch - Analyzers

• S'applique uniquement aux champs de type string

  Tant va la cruche à l'eau qu'à la fin elle se brise

  → tant,va,cruch,eau,fin,bris

• Découpage en mots (tokens)
• Accents, casse, caractère spéciaux, html stripping
• Mots de liaison (stopwords), synonymes, conjugaison / pluriel (stemming)
• En général spécifique à une langue
• Utilisé lors de l'indexation et de la recherche
• Configuré à froid au niveau de l'index
• Multi-fields : Un champ peut être analysé plusieurs fois, avec des analyseurs différents

ElasticSearch - Query

POST /zenika-index/nightclazz/_search
{
  "query": { "match": {"titre": "action"}},
  "sort": [{"titre": "asc"},"_score"],
  "from": 0, "size": 100,
  "aggs": {"stats_prix": {"stats": {"field": "prix"}}},
  "highlight": {"fields": {"titre": {}}}
}

ElasticSearch - Avec Analyze

POST /zenika-index/nightclazz/_search
{ "query": {
      "match_all": {}}}


POST /zenika-index/nightclazz/_search
{ "query": {
      "match": {
        "titre": "spring" }}}

POST /zenika-index/nightclazz/_search
{ "query": {
      "query_string": {
        "query": "spring AND batch" }}}

ElasticSearch - Sans Analyze

POST /zenika-index/nightclazz/_search
{ "query": {
      "term": {
        "editeur.code": "manning" }}}

POST /zenika-index/nightclazz/_search
{ "query": {
  "range": {
    "prix": {
      "gt": 10,
      "lte": 30 }}}}

ElasticSearch - bool

POST /zenika-index/nightclazz/_search
{ 
    "query": {
      "bool": {
        "must": [
          { "match": { "titre": "spring" }},
          { "match": { "auteurs": "cogoluegnes" }}
        ],
        "should": [
          { "match": { "editeur": "manning" }}
        ]
       }
    }
}

ElasticSearch - Agrégation

• Quels usages ?
  • Affiner une liste de résultats
    • Afficher des options de filtrage
    • Grouper les résultats par type / onglet
  • Analyser les résultats
    • Présenter les résultats sous forme de diagrammes
• S'applique sur les documents retournés par la query
  • Hors pagination, projection...
• Autrefois appelées facettes

ElasticSearch - Agrégation

POST /zenika-index/nightclazz/_search
{ 
    "query": { 
        "match": {"titre": "action"}
    },
    "aggs": {
        "titre_terms": {
          "terms": {
            "field": "titre",
            "size": 5 }},

        "prix_histo": {
          "histogram": {
            "field": "prix",
            "interval": 2 }},
    
        "prix_avg": {
          "avg": {
            "field": "prix" }}}}

>>>Response: POST /zenika-index/nightclazz/_search
{ ...
  "aggregations":{
    "titre_terms": {
      "buckets": [
        { "key": "action", "doc_count": 6 },
        { "key": "spring", "doc_count": 2 },
        { "key": "batch",  "doc_count": 1 },...]},
    "prix_histo": {
      "buckets": [
        { "key": 40, "doc_count": 2 },
        { "key": 42, "doc_count": 1 },
        { "key": 44, "doc_count": 0 }, ...]},
    "prix_avg": {
      "value": 44.74 }}}

ElasticSearch - Agrégation

• Une agrégation de type bucketing
  • terms, histogram, date_histogram, range, filter...
  • peut contenir des sous-agrégations de type bucketing ou métriques
  • classifie les documents en groupes/sous-groupes appelés buckets (par prix, par terme, par jour...)
  • compte le nombre de document par bucket
• Une agrégation de type metric
  • min, max, stats...
  • fait des statistiques sur les champs numériques, date...

ElasticSearch

./bin/elasticsearch

Kibana

• Interface Web permettant des créer des dashboards
  • Résultat de recherches
  • Camembert
  • Stack Chart
  • Line Chart
  • Tag Cloud
  • Map
  • ...

Kibana

./bin/kibana

Watcher

• Fonctionnalité disponible dans le plugin x-pack
   
• Être alerter dès qu'une condition est respecté
   
• Règle définie via un document indexé dans ElasticSearch
   
• Nécessité d'installer le plugin x-pack

Watcher

PUT _xpack/watcher/watch/log_errors
{
  "trigger" : { 
    "schedule" : {
      "interval" : "5m"
    }
  },
  "input" : { 
    "search" : {
      "request" : {
        "indices" : "log-events",
        "body" : {
          "size" : 0,
          "query" : { "match" : { "status" : "error" } }
        }
      }
    }
  },
  "condition" : { 
    "compare" : { "ctx.payload.hits.total" : { "gt" : 5 }}
  },
  "actions" : { 
    "my_webhook" : {
      "webhook" : {
        "method" : "POST",
        "host" : "mylisteninghost",
        "port" : 9200,
        "path" : "/monitoring",
        "body" : "Encountered {{ctx.payload.hits.total}} errors"
      }
    }
  }
}