Gerenciando seus logs sem dor de cabeça.

0/24

$ whoami

@IuryAlves

  • Desenvolvedor python - QMágico
  • Cursando Análise e Desenvolvimento de sistemas - Fatec SJC

1/24

  • Por que analizar logs?

  • ELK stack

    • Elastic Search
    • Logstash
    • Kibana

  • Gerando logs na sua aplicação

  • Arquitetura

2/24

Roteiro

Por que analizar logs?

  • Encontrar falhas na aplicação
  • Identificar gargalos
  • Entender como seus usuários estão usando o sistema

3/24

O problema

4/24

5/24





[Mon May 18 20:48:39 2015] return _ConnectionRecord(self)
[Mon May 18 20:48:39 2015] File "/usr/local/lib/python2.7/dist-packages/sqlalchemy/pool.py", line 449, in __init__
[Mon May 18 20:48:39 2015]   self.connection = self.__connect()
[Mon May 18 20:48:39 2015]   File "/usr/local/lib/python2.7/dist-packages/sqlalchemy/pool.py", line 602, in __connect
[Mon May 18 20:48:39 2015]     connection = self.__pool._invoke_creator(self)
[Mon May 18 20:48:39 2015]   File "/usr/local/lib/python2.7/dist-packages/sqlalchemy/engine/strategies.py", line 97, in connect
[Mon May 18 20:48:39 2015]      return dialect.connect(*cargs, **cparams)
[Mon May 18 20:48:39 2015]    File "/usr/local/lib/python2.7/dist-packages/sqlalchemy/engine/default.py", line 377, in connect
[Mon May 18 20:48:39 2015]     return self.dbapi.connect(*cargs, **cparams)
[Mon May 18 20:48:39 2015]  OperationalError: (sqlite3.OperationalError) unable to open database file

tail /var/log/apache2/error.log | pcregrep -M '\[[a-zA-Z]{3}\s+[a-zA-Z]{3}\s+[0-9]{2}.*?'

6/24

Analizar logs via linha de comando não é escalável

 

  • Logs em diversas aplicações
  • logs em diversos arquivos
  • Não automatizado

7/24

ELK stack

Logstash | elastic search | kibana

8/24

O que ELK faz?

  • Coleta os logs em diferentes arquivos e aplicações
  • Indexa
  • Torna seus logs analisáveis

9/24

Logstash

Ferramenta de parseamento de logs

10/24

Logstash

Input | Filter | Output


# Logstash Input

127.0.0.1 GET /admin 500


# Logstash Output
{
   "message": "127.0.0.1 GET /admin 500",
   "ip": "127.0.0.1",
   "method": "GET",
   "request": "/admin",
   "status_code": "500"
}

11/24

Elastic Search

Search Server

  • RESTful
  • Orientado a documentos json

12/24

Elastic Search

curl -XPUT "http://localhost:9200/eventos/python-vale/1" -d '
    {
        "cidade": "São José dos Campos",
        "Linguagem": "Python"
    }'


curl -XGET "http://localhost:9200/eventos/python-vale/1?pretty"
{
  "_index" : "eventos",
  "_type" : "python",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source":
    {
    "cidade": "São José dos Campos",
    "Linguagem": "Python"
    }
}

13/24

Kibana

Interface web para visualizar seus logs

 

14/24

Gerando logs na sua aplicação

Logs no formato json

{'asctime': '2015-05-29 20:42:07,626',
 'json': {'duration': 0.002637147903442383,
          'path': '/api/get_token_data',
          'user': 'someuser'},
 'levelname': 'INFO'}

15/24

Gerando logs na sua aplicação

Logs rotativos

16/24

Gerando logs na sua aplicação

#coding: utf-8

import logging
from logging import handlers
from pythonjsonlogger import jsonlogger

logger = logging.getLogger()
logger.setLevel(logging.NOTSET)
formatter = jsonlogger.JsonFormatter()
handler = handlers.RotatingFileHandler("app.log",
	maxBytes=2000, backupCount=2)
handler.setLevel(logging.NOTSET)
handler.setFormatter(formatter)
logger.addHandler(handler)

17/24

Gerando logs na sua aplicação

LOGGING = {
    'version': 1,
    'formatters': {
        'json_formatter': {
            '()': jsonlogger.JsonFormatter,
            'format': '%(levelname)s %(asctime)s %(message)s'
        }
    },
    'handlers': {
        'log_request_handler': {
            'class': 'logging.handlers.RotatingFileHandler',
            'formatter': 'json_formatter',
            'filename': '/path/to/logs/django_logs.log',
            'maxBytes': 1024 * 1024 * 5,  # 5 MB
            'backupCount': 5,
        }
    },
    'loggers': {
        'log_request': {
            'handlers': ['log_request_handler'],
            'propagate': False
        }}}

Enviando seus logs para o logstash 

 

  • define um tipo para o log
  •  define de onde o log veio
  • envia para o logstash

Logstash forwarder

19/24

Arquitetura

20/24

Arquitetura

21/24

Kibana Dashboard

22/24

Perguntas?

23/24

Made with Slides.com