系統與容器日誌集中與稽核策略

 

王銘德, DevOps 顧問, 集先鋒科技

大綱

  • logs 日誌集中管理的趨勢

  • docker 容器日誌的特性

  • 日誌集中管理規劃

  • 日誌稽核策略規劃

自我介紹

  • DevOps 顧問, 集先鋒科技

  • docker, k8s, ELK 講師

  • Taipei DevOps Meetup

  • Docker Taipei Meetup 講師

ming@bimap.co

@mingderwang

王銘德

在 Docker 社群介紹 k8s

May 28, 2015

Taipei DevOps Meetup

since Jun 21, 2016

傳統方式

  • 實體機 -> VMs 虛擬主機
  • 只監看系統資訊
  • logs 檔案集中 ”複製“
  • 安全性資訊與事件管理 "貴"
  • 固定監看與管理畫面
  • 軟體開發速度慢, 效率低
  • 系統效能瓶頸很難釐清

DevOps 趨勢

  • docker 容器大量使用
  • 開始監看 Apps 日誌
  • logs 可以即時查詢
  • 事件管理也可即時查詢
  • dashboard 客製化
  • agile 敏捷式開發
  • 分析系統日誌與 metric

日誌集中管理的趨勢

Dockers 管理

  • 容器開開關關, 資料不易保存
  • 容器數量大, 不易管理
  • 系統資源分配
  • 硬體擴容需求與管理
  • 資料量變大

Apps log 管理

  • 傳統 log 儲存在檔案系統
  • 透過 logs driver 輸出
  • 有 ELK 收集到 E
  • Elasticsearh 便於查詢
  • 從開發到上線方法一致

容器日誌的特性

執行面

  • 協助 docker logs 整合開發
  • 搭配 single sign-on 授權管理
  • 搭配 docker swarm 管理
  • 架設 elasticsearch cluster
  • 配合備份主機 備份稽核資料
  • 客製化 kibana 管理畫面
  • 維運與售後服務 (選項)

需求面

  • Containers (Pods) 層面日誌集中
  • Services (App logs) 層面日誌集中
  • 系統 OS 層面日誌集中
  • dashboard 製作
  • 稽核日誌集中備份
  • 異地備份
  • 資安與事件日誌集中 (選項)

日誌集中管理規劃

日誌稽核策略規劃

  • 配合監管單位規定
  • 開發日誌字典, 定期調整修改需求
  • 提供客製化定期報告輸出功能
  • 客製總覽 dashboard 管理介面
  • 客製警示通知簡訊或 email
  • 客製告警紀錄介面
  • 客製備份狀態介面

容器

By Ming-der Wang

容器

  • 1,156