Logstash, grok 程式設計

Ming-der Wang

ming@log4analytics.com

#DevOps 系列課程 (二)

TurboTeam 集先鋒科技

ELK logs 的資料流 (更新版)

redis

kafka

RabbitMQ

zeroMQ

syslog, other servers

BigQuery, spreadsheet

視覺化

查詢

Spark, Storm, Hadoop, 或其他分析, 預測, 或預警軟體

fluentd

logspout

filebeat

logstash

plugins

Redis or Kafka 當 streaming buffers

logstash

redis

Logstash config

logstash config 檔的位置

/opt/logstash/bin/logstash -f turboteam-iislog-cell.conf
/opt/logstash/bin/logstash -f turboteam-iislog-cell.conf --configtest

Configuration OK

Logstash config 範例

ELK demo

Link 到自己 docker-machine 的 ip

Logstash 文法

請參考 https://www.elastic.co/guide/index.html

Logstash tips 小技巧

常用軟體, 先找現成的 grok patterns 是否有定義.

 

最不得已才用 patterns 目錄, 但非內建的就要加, 如 cisco logs

Grok Debugger

https://grokdebug.herokuapp.com/

Grok 文法

grok patterns

常用 Grok patterns ant tips

舊版用  ((?:%{SPACE})|(?:(%{SPACE}%{SPACE})))

新版可直接用 %{SPACE}

 

用來 parsing 多個空白鍵

Q & A

TurboTeam 集先鋒科技

#DevOps 系列課程 (二)

By Ming-der Wang

#DevOps 系列課程 (二)

  • 1,207