伺服器硬體與虛擬化

• Why Server?

• Server overview

• CPU

• RAM

• Disk

• RAID

• Choose a server

Ethen @ AurigaSecurity

CRO

Security Consultant

Defense / Forensic / Analysis

SOC "Tier All" Engineer

Free and Open

ethen@anotherdream.tw

Why Server?

雲端（AWS/GCP/PAAS）不好嗎？

• 複雜度

• 可控性

• 落地需求

• 價格

＄＄＄

100人Minecraft Server:

4Core / 32G RAM / 256G SSD

=> t4g.2xlarge

=> 148.68USD/month

=> 五萬多每年

v.s.

主機15000 + 電費5000（135W/1182度每年）

https://calculator.aws/#/createCalculator

＄＄＄

10T Storage

Google cloud nearline 0.01-0.02USD/G/Month

Google cloud archive 0.0012-0.005USD/G/Month

=> 70000～4200NTD每年

v.s.

Seagate 10T 8590$*2+Synology DS220j RAID1 4899$ + 電費200每年

=> 22279第一年

General Server

高效能

高擴充能力

穩定性

不停機熱抽拔

大範圍管理能力

IPMI： Dell iDRAC / HP iLO / IBM IMM2

Server可以拿來...

架設Minecraft Server

架設Web Server與Database

架設網芳 / FTP等檔案共享

架設網路廣播電台

架設VPN翻牆

跑你的碩士論文實驗

開服務給朋友用

...

主機只有一台，但是想跑的應用分散在許多不同版本作業系統中，管理者也不一樣，怎麼辦？

虛擬化技術

將電腦的各種實體資源（CPU、記憶體、磁碟空間、網路適配器等），予以抽象、轉換後呈現出來並可供分割、組合為一個或多個電腦組態環境。由此，打破實體結構間的不可切割的障礙，使用戶可以比原本的組態更好的方式來應用這些電腦硬體資源。這些資源的新虛擬部份是不受現有資源的架設方式，地域或物理組態所限制。一般所指的虛擬化資源包括計算能力和資料儲存。

https://zh.wikipedia.org/zh-tw/%E8%99%9B%E6%93%AC%E5%8C%96

虛擬化有許多不同的種類，有機會再說

=>

宋啦！

虛擬化硬體怎挑？

• CPU：越多核心越好，但重要性相對低
• RAM：絕對硬限制，越大越好
• Storage：絕對硬限制，IO量比容量重要

CPU

虛擬化指令Intel VT-x, VT-d

核心數量 / 時脈 / Hyper-Threading

pipeline / 分支預測 / 指令集

超頻？

RAM

ECC / buffered / Registered / FB-DIMM

UMA / NUMA架構

single / dual / triple channel

時脈 / DDR1~4

記憶體控制器的RANK限制

超頻？

HDD

虛擬化中最貴的耗材

SATA / SAS / SSD

轉速、2.5/3.5、插槽數量、熱插拔

一定要RAID

一定要選有ERC / TLER的硬碟

(紅標、企業級、NAS碟...)

壽命？

RAID

RAID 0 / 1 / 5 / 6 / 10 / 50...

RAID

RAID 0 / 1 / 5 / 6 / 10 / 50...

RAID Card

Hardware RAID v.s. Software / Fake RAID

Write Back / Write through mode

Cache / BBU

SAS Cable

SAS to SATA Cable

SAS External Cable

SAS Expander

Others

Power

Tower / RackMount

1U~5U

Ethernet / Mgmt port

PCI-Express

GPU

Internal USB

Modular Fan and heat flow

iLO

UPS

電力供應很重要

Online UPS

Offline UPS

Online-interactive UPS

http://www.joysong.com.tw/03_11.asp

實機展示

怎麼選擇適合的機器？

先問用途

DELL / HP / IBM

SuperMicro / Asus / Acer

• 新品普遍價格帶10-15萬
• 直接請原廠報價
• 商務機/Server客服電話比較好打
• 保固：4hr/8hr/1D/1BD到府維修
• 可預先安裝OS / 配置RAID
• 可請原廠出具保固證明/產地證明

Title Text

洋垃圾

二手貨有風險，請多練功

Title Text

IBM System x3550 M4 9900$

Intel E5-2630 V2  2.6GHz 6核心CPU  *2  共12核心

Power 550W *2

RAM 32G *4 += 15200$ (Max32*24=768)

RAID M5110 += 2500$

HDD DELL 900G 10K 2.5 SAS *8 +=16800$

=> 12core / 128G / 6.15T  44400NTD

Supermicro 6027R 18000$

E5 2670 V2  10核心*2 20核心 +=8000$

DDR3L ECC REG 32G 1600 *16 +=60800$

Toshiba 3.5吋 10TB SATA 企業級硬碟 7200轉*8 +=52800$

=> 20core / 512G / 66.75T 139600NTD

多數洋垃圾使用Intel處理器，記得Google查一下規格

別忘了確認相容性

https://www.vmware.com/resources/compatibility/search.php

我的虛擬化配置

Title Text

虛擬化技術的選擇

bare-metal hypervisor:
VMWare ESXi / hyper-v / Citrix / Proxmox
 

Hosted hypervisor:

VMWare Workstation / fusion / VirtualBox

OS Level Visualization:

Docker / LXC / OpenVZ

全虛擬化 v.s. 半虛擬化

Ｑ＆Ａ

大艦巨砲

https://zencup.pixnet.net/blog/post/160762115-google-和微軟都用貨櫃，建置資料中心

安全性議題

Meltdown與Spectre

CVE-2017-5754、CVE-2017-5753、CVE-2017-5715等等....當然受影響！

多人共用伺服器