Aggregations no Elasticsearch

O que podemos fazer com as aggregations no Elasticsearch 2.4. Além de uma rápida passada sobre os conceitos

agenda

• conceitos básicos

• analysis e analyzers
• facets
• aggregations
  • buckets
  • metrics
  • pipeline
• o que temos hoje no sistema
• o que podemos fazer

Elasticsearch is a search engine based on Lucene. It provides a full-text search engine with an HTTP web interface and schema-free JSON documents.

fonte: Wikipedia - Pode confiar ;)

Schemaless

Document Based

Inverted Index

https://www.elastic.co/guide/en/elasticsearch/guide/current/inverted-index.html

quick brown

Analysis and Analyzers

É o processo de quebrar um bloco de texto em diversos termos únicos utilizando-se dos analyzers e aplicando.

É um conjunto de ações utilizados para criar os índices e filtrá-los.

3 Passos

É um conjunto de ações utilizados para criar os índices e filtrá-los.

Banana <b>elétrica</b> & caixa d'água são os produtos da nova geração

Banana elétrica e caixa d’água são os produtos da nova geração

Cria os tokens utilizando as estratégias especificadas

Banana elétrica e caixa d’água são os produtos da nova geração

Banana | elétrica | e | caixa | d’água | são | os | produtos | da | nova | geração

Aplica algumas regras para melhorar os tokens gerados

Banana | elétrica | e | caixa | d’água | são | os | produtos | da | nova | geração

banana | eletrica | e | caixa | reservatorio | dagua | sao | os | produtos | da | nova | geracao | era

Facets

Facets

Facets provide aggregated data based on a search query. In the simplest case, a terms facet can return facet counts for various facet values for a specific field. Elasticsearch supports more facet implementations, such as statistical or date histogram facets.

https://www.elastic.co/guide/en/elasticsearch/reference/1.4/search-facets.html

Não aceita múltiplos níveis =(

Aggregations

Aggregations

The aggregations framework helps provide aggregated data based on a search query. It is based on simple building blocks called aggregations, that can be composed in order to build complex summaries of the data.

https://www.elastic.co/guide/en/elasticsearch/reference/2.4/search-aggregations.html

Estrutura

{
    "aggregations" : {
        "<aggregation_name>" : {
            "<aggregation_type>" : { 
                <aggregation_body>
            },
            ["aggregations" : { [<sub_aggregation>]* } ]
        }
        [,"<aggregation_name_2>" : { ... } ]*
    }
}

3 pontos chaves

É a criação de um conjunto de documentos, separados por uma ou mais regras.

{
    "aggs": {
        "favorite_hobbies": {
            "terms": {
                "field": "hobbie"
            }
        }
    }
}

São alguns dados matemáticos que podemos computar de um conjunto de documentos.

{
    "aggs": {
        "age_avg": {
            "avg": {
                "field": "age"
            }
        }
    }
}

Trabalha com a saída geradas pelas outras aggregations e as métricas associadas a elas ao invés de usar os documentos.

{
    "aggs" : {
        "sales_per_month" : {
            "date_histogram" : {
                "field" : "date",
                "interval" : "month"
            },
            "aggs": {
                "sales": {
                    "sum": {
                        "field": "price"
                    }
                }
            }
        },
        "max_monthly_sales": {
            "max_bucket": {
                "buckets_path": "sales_per_month>sales" 
            }
        }
    }
}

Um pouco de prática para entender o fluxo

Possibilidades

O que mais podemos fazer com essa tal liberdade aggregation?

Metrics

• soma
• top hits
• percentis
• script
• ...

• média
• min
• max
• estatística
• geolocalização

Buckets

• global
• IPv4 range
• missing
• nested
• reverse nested
• significant terms

• children 
• histogramas e range inclusive por data
• filter
• estatística
• geolocalização

Pipeline

Similar aos da Metrics

Alguns exemplos

https://qbox.io/blog/elasticsearch-aggregations

Como funciona a query da nossa página de listagem de produtos hoje

Vlw! Flw!