ELK Based Realtime Log Searching & Stats Service

About US

Service:

        Log Searching, Stats and Data visualization as a Service.

Team:

        凌霄( @craftsman凌霄 )       

        高英举( @Gary的影响力 )

About Our Users

规模：每天32亿条日志，2TB

Why ELK?

Long Long Ago:

  • 多种日志：Apache, Nginx, Mysql, Hadoop, App
  • 海量日志: KB -> MB -> GB -> TB
  • 散落的日志:node_A/path_x, node_B/path_y, node_B/path_z, node_B/path_m
  • 运维困难：cat, tail, grep, sort, shell, python
  • 非实时: 小时/天级别

Why ELK?

In the Future:

  • 多种日志 vs All in One
  • 海量日志 vs All in One
  • 散落的日志 vs All in One
  • 运维困难 vs Flexible and Robust Searching, Stats, Visualization
  • 非实时 vs Near Realtime

Why ELK?

Use Cases : Searching

  • Specific Value : url,uid, http status code, timestamp, request header, error msg, 
  • Range :[400 TO 416], 15 minutes ago to Now, Last 3 days, 
  • Fuzzy : video*,  vid?o,
  • Fulltext : Pages, Blogs, Posts, Comments, 
  • Chinese: 优衣库, 莆田系医院,

Use Cases : Stats

  • ​最近5分钟5XX的数量
  • 最近30分钟某个服务器上404的数量
  • 用户访问最多的url TOP N
  • 网站用户的地区，ISP分布
  • 最近1天各个ISP的服务质量趋势图
  • 今天Android, Iphone的用户请求占比是多少？
  • 用户在用哪些版本的微博手机客户端，哪个版本错误最多？
  • 85%, 95%, 99%的用户访问延迟各是多少？

Service Architecture

ELK Intro

Brief Intro

  • Scheme-free, REST & JSON based document store
  • Distributed and horizontally scalable
  • Search, analyze in real-time.
  • based on Lucene
  • Open Source: Apache License 2.0/ Java
  • Zero Configuration
  • Many Plugins in Community

see more: http://www.elasticsearch.org/overview/elasticsearch/

Brief Intro

  • Collect various data
  • Parse and enrich data
  • Output to a variety of endpoint
  • Plugins: Inputs, Filters, Outputs
  • Easy, Flexible Configuration
  • Open Source: Apache License 2.0/ (J)Ruby

see more: http://logstash.net/

Brief Intro

Kibana 3

  • Use Elasticsearch Facets
  • Visualize data
  • interactive
  • Flexible and powerful
  • Dashboards,Panels
  • Execute queries and show results

see more: http://www.elasticsearch.org/guide/en/kibana/current/index.html

Kibana 4

  • Reinvent Kibana
  • Use Elasticsearch Aggregations
  • More Flexible and More powerful
  • Discover, Visualize, Dashboard
  • Share Visualizations

Come to Work Together

Architecture

Distributed Log Analysis

Case 1

Indexer

Shipper

Case 2

Indexer

Buffer

Case 3

Case 4

Case 5

Case 6

Scale ELK is Easy !!

Getting Started is Simple

Install ES 1.7.0

1. wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.0.noarch.rpm

2. rpm -ivh elasticsearch-1.7.0.noarch.rpm

3. service elasticsearch start

4. curl -X GET http://localhost:9200/

Install Kibana 3.1.0

1. cd to your web server's ( e.g. nginx)  www root 

2. wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.0.tar.gz -O kibana-3.1.0.tar.gz

3. tar zxvf kibana-3.1.0.tar.gz

4.configure elasticsearch host in  config.js

5. open your web  browser with url http://your_server/kibana-3.1.0

Install Logstash 1.5.3

1. wget https://download.elastic.co/logstash/logstash/logstash-1.5.3.tar.gz

2. tar zxvf logstash-1.5.3.tar.gz

3. cd logstash-1.5.3 && bin/logstash agent -f logstash_test.conf 

# logstash_test.conf : a simple configuration example of logstash
input {
    stdin {}
}

filter {
    grok {
        match => [ "message", "%{NUMBER:http_status} %{WORD:method}" ]
    }
    if [ http_status ] =~ /^[4-5]\d\d/ {
        drop {}
    }
}

output {
    stdout { codec => rubydebug }
}

Getting Started More Quickly and Easily Using Docker

see:

http://dspgit.cluster.sina.com.cn/dip_elk/elk_user_docs/blob/master/tutorials/setup_elk_using_sce.md

The Question is :

Is This Enough ?

Why US ( DIP ELK ) ?

Why US (DIP ELK) ?

  • Do more and Do Better
    • 提升服务质量
    • 增强易用性
    • 提供新功能
  • 我们经历过的坑和坎儿
  • 未来努力方向

在ELK的基础上为用户提供更好的服务

Better ELK,More Than ELK

Do More and Do Better

  • 提升服务质量
  • 增强易用性
  • 提供新功能

提升服务质量

  • Elasticsearch 优化
  • Logstash 优化
  • ES Index管理系统
  • 数据备份
  • 监控报警

Elasticsearch优化

  • System Level
    • swap优化
    • max open files
    • Jdk1.8
  • App Level
    • ​ES_HEAP_SIZE​
    • 调整shard, replica数
    • String默认not_analyzed
    • 使用doc_values
    • 定制index template
    • 调整indexing, merge, refresh,allocation,security等相关参数

Logstash 优化

  • 使用supervisord管理logstash
  • 调大 filter worker number(-w)
  • Logstash Conf:
    • Batch Input : redis, kafka
    • Batch Output: elasticsearch
    • 尽量不用非官方插件和logstash-filter-ruby

Logstash Conf example

input { ... }
filter {
    if [ip] {
        geoip2 {
            source => "ip"
            target => "#ip"
        }
    }
    if [ua] {
        # <device_type>__weibo__<weibo_version>__<os_type>_<os_version>
        # iPhone7,1__weibo__5.1.3__iphone__os8.1.3
        # iPad3,4__weibo__4.5.0__iphone__os7.0.4
        # Xiaomi-MI 2A__weibo__4.3.0__android__android4.1.1
        # samsung-GT-N7100__weibo__4.3.5__android__android4.3
        # OPPO-R850__weibo__4.3.0__android__android4.2.2
        grok {
            match => ["ua", "%{DATA:agent_device_type}__weibo__%{DATA:agent_weibo_version}__%{DATA:agent_os_type}__%{DATA:agent_os_version}$"]
        }
    }
}
output {
    elasticsearch {
        index => "weibo-client-video-%{+YYYY.MM.dd}"
        host => [ "1002.es.dip.sina.com.cn:9200" ]
        protocol => "http"
        workers => 2
        flush_size => 20000
    }
}

Es Index管理系统

  • 定期Create Index
  • 定期Optimize Index
  • 定期Close Index
  • 定期Delete Index
  • 定期Snapshot Index to Hdfs

监控报警

  • System Level 使用公司内部的Sinawatch服务
    • 磁盘满，坏
    • 宕机
    • Load, Mem
  • App Level(Logstash, Kibana, Kafka, Celery) 自己开发+用开源产品
    • Es:JVM Heap Usage, node number, bulk reject rate
    • Logstash,Kibana: service status
    • Kafka: topic consumer offset lag
    • Celery: Flower

增强易用性

我们面临的易用性难题：

  • IP解析成地区、ISP信息不准，完全没有参考意义 
  • 用户日志接入流程复杂，沟通困难。
  • 部分数据可视化需求得不到满足，Kibana配置难度大 

如何增强易用性：

新浪IP库+ logstash-filter-geoip2

用户日志接入自动化+Es Index管理自动化

官方Kibana 3 -> 官方Kibana 4

logstash-filter-geoip2

现状：

  • IP解析成地区、ISP信息不准，完全没有参考意义 
  • Logstash 社区中没有直接可用的方案
  • 现成的新浪IP库

方案：

  • 研究maxmind公司的Geoip2 IP库的生成方法
  • 通过开发利用新浪IP库生成Geoip2 IP库
  • 结合maxmind提供的开源Geoip2 API开发一个logstash-filter-geoip2插件

logstash-filter-geoip2

我们遇到的困难：

  • 开发横跨 Ruby/Python/Perl
  • 公司服务器搭建较新版Ruby, Perl环境困难
  • 1.4.5.0 ~ 1.4.7.0 如何转换成 net/mask的形式

logstash-filter-geoip2

start ip ~ end ip 如何转换成 net/mask的形式

1.4.5.1 ~ 1.4.5.255   TO    1.4.5.0/24

1.4.5.1 ~ 1.4.7.255   TO    1,4.5.0/24, 1.4.6.0/24

1.4.0000 0101.1

1.4.0000 0111.255

logstash-filter-geoip2

start ip ~ end ip 如何转换成 net/mask的形式:

Binary bit -> BTree:

  • Height : 32 (IPv4)
  • Node/Leaf: 0 OR 1
  • Left Child: 0
  • Right Child: 1
  • IP def: From Root to Leaf
  • If IP_A < IP_B, IP_A is on the left of IP_B

http://dspgit.cluster.sina.com.cn/dip_elk/maxminddb_geoip2/blob/master/iprange2networks.py

logstash-filter-geoip2

start ip ~ end ip 如何转换成 net/mask的形式

59.43.44.148 ~ 59.43.45.107 ？中国 北京 电信

59.43.44.148/30,

59.43.44.152/29,

59.43.44.160/27,

59.43.44.192/26,

 

59.43.45.0/26,

59.43.45.64/27,

59.43.45.96/29,

59.43.45.104/30

logstash-filter-geoip2

我们的成果：

  • 使Logstash能够以更简单容易的方式利用上公司的IP库。
  • 新IP库的IP解析准确率与公司IP库保持一致。
  • IP库解析平均速度为6600+个/秒，效率较之前提高了2.3倍。
  • 提供了能将公司的IP库转换maxmindDB格式的IP库的工具。
  • 在原公司IP库提供PHP API的基础上，我们还可以通过C/Java/Perl/PHP/Python/Apache/Go/Lua/Ruby/Scala等API来使用公司的IP库。

logstash-filter-geoip2

Open Source

logstash-filter-geoip2已开源并与logstash官方插件logstash-filter-geoip合并。现在是logstash-5.0.0 builtin plugin。

 

官方博文：Logstash Lines: GeoIP filter enhancements

https://www.elastic.co/blog/logstash-lines-2016-05-02

简化用户接入 v1.0

提供新功能

  • 中文分词功能

提供新功能

Es standard analyzer中文分词：

”美国打伊拉克“—>"美"，”国“，”打“，”伊“，”拉“，”克“

 

ik analyzer 中文分词：

”美国打伊拉克“—>”美国“，”打“，”伊拉克“

未来努力方向

  • 日志接入全自动化：即点即用
  • 完整的用户服务web系统(Portal) 
  • 用户数据层面的报警
  • ​服务性能优化
  • 数据安全/用户隔离
  • 结合spark/hadoop体系
  • 应用docker化(logstash,kibana)
  • ELK on Mesos

总结

  • Elasticsearch总结
  • Kibana总结
  • 大数据处理架构总结
  • 大数据产品总结

Elasticsearch 总结

  • 处理大数据量(十亿级别以上)并且需求复杂(多次group by,求百分比)的query时CPU资源消耗大(导致query不能并发，集群不可用)、时延长(分钟以上)
  • query的执行没有资源限制
  • query一旦执行，无法被kill掉

Kibana 总结

  • 开源社区里最好的数据可视化产品
  • 在数据可视化配置上仍然不够直观，简单

大数据处理架构总结

  • 限流：在接入数据环节限流，防止数据爆发和不必要的资源消耗
  • 自动化数据异常监控:无数据，趋势异常(波峰、波谷、数量级)
  • 智能化：用机器学习判断数据趋势异常
  • 自动化不是银弹，与业务紧密结合的部分很难自动化

 

大数据产品总结

  • 三分技术，七分数据，得数据者的天下
  • 服务高价值密度(数据分析的价值/成本)的数据

Thanks ！

References

1.http://www.elasticsearch.org

2.http://logstash.net

3.https://speakerdeck.com/elasticsearch/scale-12x-introduction-to-elasticsearch-logstash-and-kibana

4.http://garyelephant.me/article/details/23750563

5.https://speakerdeck.com/elastic/whats-cookin-in-kibana-4

6.http://www.docker.com

Made with Slides.com