Ming-der Wang
ming@log4analytics.com
#DevOps 系列課程 (二)
TurboTeam 集先鋒科技
ELK logs 的資料流 (更新版)
redis
kafka
RabbitMQ
zeroMQ
syslog, other servers
或
BigQuery, spreadsheet
視覺化
查詢
Spark, Storm, Hadoop, 或其他分析, 預測, 或預警軟體
fluentd
logspout
filebeat
logstash
plugins
/opt/logstash/bin/logstash -f turboteam-iislog-cell.conf
/opt/logstash/bin/logstash -f turboteam-iislog-cell.conf --configtest
Configuration OK
Link 到自己 docker-machine 的 ip
請參考 https://www.elastic.co/guide/index.html
常用軟體, 先找現成的 grok patterns 是否有定義.
最不得已才用 patterns 目錄, 但非內建的就要加, 如 cisco logs
https://grokdebug.herokuapp.com/
grok patterns
舊版用 ((?:%{SPACE})|(?:(%{SPACE}%{SPACE})))
新版可直接用 %{SPACE}
用來 parsing 多個空白鍵
By Ming-der Wang