Day-280-SIEM 架构与设计

# Day 301: SIEM 架构与设计 - 数据流/组件/部署模式

> 安全运维系列第 11 天 | 预计阅读时间：25 分钟 | 难度：★★★☆☆

---

## 清单 目录

1. [SIEM 概述](#siem-概述)
2. [核心组件](#核心组件)
3. [数据流设计](#数据流设计)
4. [部署模式](#部署模式)
5. [架构设计](#架构设计)
6. [性能规划](#性能规划)
7. [高可用设计](#高可用设计)
8. [总结与思考](#总结与思考)
9. [参考资料](#参考资料)

---

## SIEM 概述

### 定义与功能

**SIEM (Security Information and Event Management)** 是安全信息与事件管理的缩写，结合了：
- **SIM (Security Information Management)**: 安全信息管理 - 长期存储、分析报告
- **SEM (Security Event Management)**: 安全事件管理 - 实时监控、关联分析、响应

**核心功能**：
- 日志集中采集和管理
- 实时安全事件监控
- 关联分析和威胁检测
- 合规报告生成
- 事件响应支持

### 发展演进

| 代际 | 时间 | 特点 |
|------|------|------|
| 第一代 | 2000-2005 | 日志集中管理，基础关联 |
| 第二代 | 2006-2012 | 实时关联，合规报告 |
| 第三代 | 2013-2018 | UEBA,威胁情报集成 |
| 第四代 | 2019-至今 | AI/ML,云原生，SOAR 集成 |

---

## 核心组件

### 逻辑架构组件

```
┌─────────────────────────────────────────────────────────────┐
│                      SIEM 逻辑架构                           │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐         │
│  │  展示层     │  │  分析层     │  │  数据层     │         │
│  │  Dashboard  │  │  关联引擎   │  │  存储索引   │         │
│  │  告警中心   │  │  机器学习   │  │  数据湖     │         │
│  │  报告系统   │  │  威胁情报   │  │  归档存储   │         │
│  └─────────────┘  └─────────────┘  └─────────────┘         │
│                                                             │
│  ┌─────────────────────────────────────────────────┐       │
│  │              数据采集层                          │       │
│  │  日志采集器 | 代理 | API 连接器 | Syslog 服务器    │       │
│  └─────────────────────────────────────────────────┘       │
│                                                             │
│  ┌─────────────────────────────────────────────────┐       │
│  │              数据源                              │       │
│  │  网络设备 | 安全设备 | 服务器 | 应用 | 云服务    │       │
│  └─────────────────────────────────────────────────┘       │
│                                                             │
└─────────────────────────────────────────────────────────────┘
```

### 物理组件

**采集组件**：
- **Collector/Connector**: 日志采集器
- **Agent**: 代理程序
- **Syslog Server**: Syslog 接收服务器
- **Forwarder**: 日志转发器

**处理组件**：
- **Event Processor**: 事件处理器
- **Correlation Engine**: 关联引擎
- **Normalizer**: 标准化引擎
- **Aggregator**: 聚合器

**存储组件**：
- **Hot Storage**: 热存储 (SSD)
- **Warm Storage**: 温存储 (HDD)
- **Cold Storage**: 冷存储 (对象存储)
- **Database**: 元数据数据库

**展示组件**：
- **Console**: 管理控制台
- **Search Head**: 搜索节点
- **Dashboard Server**: 仪表盘服务器

---

## 数据流设计

### 典型数据流

```
数据源 → 采集 → 传输 → 解析 → 标准化 → 丰富 → 关联 → 存储 → 展示
```

**详细流程**：

**1. 数据采集**
```
日志源产生日志
↓
采集器捕获日志 (Agent/Syslog/API)
↓
本地缓冲 (防止丢失)
```

**2. 数据传输**
```
加密传输 (TLS/SSL)
↓
压缩 (减少带宽)
↓
负载均衡 (多采集器)
```

**3. 数据解析**
```
原始日志进入解析引擎
↓
格式识别 (CEF/LEEF/自定义)
↓
字段提取
↓
时间戳标准化
```

**4. 数据标准化**
```
字段映射到标准 schema
↓
数据类型转换
↓
枚举值标准化
```

**5. 数据丰富**
```
添加资产信息
↓
添加用户信息
↓
添加威胁情报
↓
添加地理位置
```

**6. 关联分析**
```
规则引擎匹配
↓
实时关联检测
↓
告警生成
```

**7. 数据存储**
```
索引创建
↓
热存储写入
↓
定期降级到温/冷存储
```

**8. 数据展示**
```
仪表盘查询
↓
搜索结果返回
↓
告警通知
```

### 数据流优化

**批处理 vs 流处理**：
```
批处理：适合历史分析、报告生成
流处理：适合实时监控、实时告警

Lambda 架构：同时支持批处理和流处理
```

**缓冲策略**：
```
采集端缓冲：防止网络中断丢失
处理端缓冲：平滑处理峰值
存储端缓冲：批量写入提高性能
```

---

## 部署模式

### 单节点部署

**适用场景**：
- 小型环境 (< 1000 EPS)
- 概念验证
- 预算有限

**架构**：
```
┌─────────────────┐
│   SIEM Server   │
│  (All-in-One)   │
│                 │
│ - 采集          │
│ - 处理          │
│ - 存储          │
│ - 展示          │
└─────────────────┘
```

**优缺点**：
- + 简单、成本低
- - 单点故障、扩展性差

### 分布式部署

**适用场景**：
- 中型环境 (1000-10000 EPS)
- 需要高可用
- 需要扩展性

**架构**：
```
┌─────────────┐  ┌─────────────┐
│  Collector 1│  │  Collector 2│
└──────┬──────┘  └──────┬──────┘
       │                │
       └────────┬───────┘
                │
       ┌────────▼────────┐
       │  Load Balancer  │
       └────────┬────────┘
                │
    ┌───────────┼───────────┐
    │           │           │
┌───▼───┐  ┌───▼───┐  ┌───▼───┐
│Processor│ │Processor│ │Processor│
│   1    │  │   2    │  │   3    │
└───┬───┘  └───┬───┘  └───┬───┘
    │           │           │
    └───────────┼───────────┘
                │
       ┌────────▼────────┐
       │  Storage Cluster│
       └────────┬────────┘
                │
       ┌────────▼────────┐
       │   Console       │
       └─────────────────┘
```

**优缺点**：
- + 可扩展、高可用
- - 复杂、成本高

### 分层部署

**适用场景**：
- 大型环境 (> 10000 EPS)
- 多地域组织
- 需要数据本地化

**架构**：
```
地域 1:                地域 2:
┌──────────┐          ┌──────────┐
│ 本地采集 │          │ 本地采集 │
└────┬─────┘          └────┬─────┘
     │                     │
┌────▼─────┐          ┌────▼─────┐
│ 本地处理 │          │ 本地处理 │
└────┬─────┘          └────┬─────┘
     │                     │
     └──────────┬──────────┘
                │
         ┌──────▼──────┐
         │  中央 SIEM   │
         │  (全局视图)  │
         └─────────────┘
```

---

## 架构设计

### 容量规划

**EPS 计算**：
```
总 EPS = Σ(各日志源 EPS)

示例：
防火墙：500 EPS
IDS: 300 EPS
Windows 服务器 (100 台): 100 × 5 = 500 EPS
Linux 服务器 (50 台): 50 × 3 = 150 EPS
应用系统：200 EPS
总计：1650 EPS
```

**存储容量计算**：
```
日存储量 (GB) = EPS × 平均日志大小 (KB) × 86400 / 1024 / 1024

假设：
- EPS: 2000
- 平均日志大小：1KB
- 压缩比：3:1

日存储量 = 2000 × 1 × 86400 / 1024 / 1024 / 3 ≈ 163 GB/天

90 天存储 = 163 × 90 ≈ 14.7 TB
```

### 网络设计

**网络分区**：
```
管理网络：SIEM 组件间通信
采集网络：日志源到采集器
用户网络：分析师访问控制台
```

**带宽规划**：
```
采集带宽 = EPS × 日志大小 × 冗余系数

假设：
- EPS: 2000
- 日志大小：1KB
- 冗余系数：1.5 (考虑重传)

带宽 = 2000 × 1KB × 1.5 = 3MB/s = 24Mbps

建议：100Mbps 专线
```

---

## 性能规划

### 性能指标

**采集性能**：
- 最大 EPS
- 采集延迟 (< 5 秒)
- 采集成功率 (> 99.9%)

**处理性能**：
- 关联规则处理延迟 (< 10 秒)
- 告警生成延迟 (< 30 秒)
- 规则数量支持

**查询性能**：
- 简单查询响应 (< 5 秒)
- 复杂查询响应 (< 30 秒)
- 并发查询支持

### 性能优化

**索引优化**：
- 按时间分片
- 合理分片数
- 定期 force merge

**查询优化**：
- 使用过滤器
- 限制时间范围
- 利用缓存

**存储优化**：
- SSD 用于热数据
- HDD 用于温数据
- 对象存储用于冷数据

---

## 高可用设计

### 组件冗余

**采集层 HA**：
```
多采集器 + 负载均衡
采集器故障自动切换
```

**处理层 HA**：
```
多处理节点集群
节点故障自动转移
```

**存储层 HA**：
```
数据多副本
存储故障自动恢复
```

### 灾难恢复

**备份策略**：
- 配置备份：每日
- 数据备份：持续复制
- 异地备份：每日/每周

**恢复策略**：
- RTO (恢复时间目标): < 4 小时
- RPO (恢复点目标): < 15 分钟

---

## 总结与思考

### 核心要点回顾

1. **SIEM 组件**：采集、处理、存储、展示四层
2. **数据流**：采集→传输→解析→标准化→丰富→关联→存储→展示
3. **部署模式**：单节点、分布式、分层
4. **容量规划**：EPS 计算、存储计算、带宽规划
5. **高可用**：组件冗余、灾难恢复

### 深入思考

**架构设计原则**
- 从需求出发，避免过度设计
- 考虑未来 3-5 年增长
- 平衡性能和成本

**云原生趋势**
- SaaS SIEM 兴起
- 弹性扩展
- 按需付费

---

## 参考资料

### 学习资源

- **NIST SP 800-92**: 日志管理指南
- **Gartner SIEM Magic Quadrant**

### 工具资源

- **Splunk**: https://www.splunk.com
- **Elastic Security**: https://www.elastic.co/security
- **IBM QRadar**: https://www.ibm.com/security/qradar

---

*Day 301 完成 | SIEM 架构与设计详解 | 字数：约 10,000 字*