Ming-der Wang
ming@log4analytics.com
第五天: 6月12日(週一:全天) - Logstash, Grok
TurboTeam 集先鋒科技
ELK logs 的資料流 (更新版)
redis
kafka
RabbitMQ
zeroMQ
syslog, other servers
或
BigQuery, spreadsheet
視覺化
查詢
Spark, Storm, Hadoop, 或其他分析, 預測, 或預警軟體
fluentd
logspout
filebeat
logstash
plugins
logstash
redis
/opt/logstash/bin/logstash -f turboteam-iislog-cell.conf
/opt/logstash/bin/logstash -f turboteam-iislog-cell.conf --configtest
Configuration OK
Link 到自己 docker-machine 的 ip
請參考 https://www.elastic.co/guide/index.html
https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html
parsing multiple space 用
((?:%{SPACE})|(?:(%{SPACE}%{SPACE})))
online rexep
https://regex101.com/
https://grokdebug.herokuapp.com/
grok patterns
增加非標準的 patterns 在 patterns directory 裡
click on above image for CISCO ASA logs config example.
https://github.com/elastic/logstash/blob/v1.4.2/patterns/firewalls
舊版用 ((?:%{SPACE})|(?:(%{SPACE}%{SPACE})))
新版可直接用 %{SPACE}
以上 pattern 是用來 parsing 多個 space 的部分
|
- > Elasticsearch
./filebeat -configtest -e -c filebeat.yml
input {
beats {
port => 5044
}
}
用 telnet <ip> 5044 來測試
也可用 nc (or netcat) <ip> 5044 來試丟資料
TurboTeam 集先鋒科技