Day-277-日志存储与归档

# Day 298: 日志存储与归档 - 热温冷存储/压缩/保留策略

> 安全运维系列第 8 天 | 预计阅读时间：25 分钟 | 难度：★★★☆☆

---

## 清单 目录

1. [日志存储概述](#日志存储概述)
2. [存储架构设计](#存储架构设计)
3. [热温冷存储策略](#热温冷存储策略)
4. [日志压缩技术](#日志压缩技术)
5. [保留策略](#保留策略)
6. [存储优化](#存储优化)
7. [合规要求](#合规要求)
8. [总结与思考](#总结与思考)
9. [参考资料](#参考资料)

---

## 日志存储概述

### 存储挑战

**数据量挑战**：
- 日均日志量：GB 到 TB 级
- 年增长率：50-100%
- 存储成本压力

**性能挑战**：
- 实时查询需求
- 历史数据分析
- 并发访问压力

**合规挑战**：
- 保留期限要求
- 数据完整性
- 审计可追溯

### 存储目标

**可用性**：
- 热数据：秒级查询
- 温数据：分钟级查询
- 冷数据：小时级查询

**可靠性**：
- 数据不丢失
- 可恢复性
- 冗余备份

**经济性**：
- 合理的存储成本
- 高效的存储利用
- 按需扩展

---

## 存储架构设计

### 分层存储架构

```
┌─────────────────────────────────────────────────────────────┐
│                      日志存储架构                            │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  ┌─────────────┐                                           │
│  │  热存储层    │  SSD/内存                               │
│  │  (7-30 天)   │  实时查询，高性能                        │
│  └──────┬──────┘                                           │
│         │ 自动降级                                          │
│  ┌──────▼──────┐                                           │
│  │  温存储层    │  HDD                                     │
│  │  (30-90 天)  │  常规查询，平衡性能成本                   │
│  └──────┬──────┘                                           │
│         │ 自动降级                                          │
│  ┌──────▼──────┐                                           │
│  │  冷存储层    │  对象存储/磁带                            │
│  │  (90 天+)    │  归档查询，最低成本                       │
│  └─────────────┘                                           │
│                                                             │
└─────────────────────────────────────────────────────────────┘
```

### Elasticsearch 存储架构

**节点角色**：
- **Master 节点**：集群管理
- **Data 节点**：数据存储和查询
- **Ingest 节点**：数据预处理
- **Coordinating 节点**：请求路由

**分片策略**：
```
索引 = 主分片 + 副本分片

主分片数：根据数据量和查询并发确定
- 小数据量 (<100GB): 1-3 个主分片
- 中等数据量 (100GB-1TB): 3-5 个主分片
- 大数据量 (>1TB): 5-10 个主分片

副本数：根据可用性要求
- 开发环境：0 副本
- 生产环境：1-2 副本
```

**索引生命周期**：
```json
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_size": "50gb",
            "max_age": "7d"
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "freeze": {}
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}
```

---

## 热温冷存储策略

### 热存储 (Hot Storage)

**特点**：
- 高性能 SSD 或内存
- 实时写入和查询
- 成本最高

**适用数据**：
- 最近 7-30 天日志
- 频繁查询的日志
- 告警关联需要的日志

**配置建议**：
```yaml
# Elasticsearch 热节点配置
node.roles: ["hot", "data", "ingest"]
path.data: /ssd/data

# 索引设置
{
  "settings": {
    "index.codec": "best_compression",
    "index.refresh_interval": "5s",
    "number_of_replicas": 1
  }
}
```

### 温存储 (Warm Storage)

**特点**：
- 大容量 HDD
- 查询性能适中
- 成本中等

**适用数据**：
- 30-90 天日志
- 偶尔查询的日志
- 趋势分析数据

**配置建议**：
```yaml
# Elasticsearch 温节点配置
node.roles: ["warm", "data"]
path.data: /hdd/data

# 索引迁移后优化
{
  "settings": {
    "index.number_of_replicas": 0,
    "index.refresh_interval": "30s"
  }
}
```

### 冷存储 (Cold Storage)

**特点**：
- 对象存储或磁带
- 查询延迟高
- 成本最低

**适用数据**：
- 90 天以上日志
- 合规归档数据
- 历史审计数据

**云存储方案**：
| 服务商 | 冷存储服务 | 价格 (约) |
|--------|-----------|----------|
| AWS | S3 Glacier | $0.004/GB/月 |
| Azure | Archive Storage | $0.002/GB/月 |
| GCP | Coldline Storage | $0.007/GB/月 |
| 阿里云 | OSS 归档存储 | ¥0.033/GB/月 |

---

## 日志压缩技术

### 压缩算法对比

| 算法 | 压缩比 | 压缩速度 | 解压速度 | 适用场景 |
|------|--------|----------|----------|----------|
| gzip | 中等 | 快 | 快 | 通用场景 |
| bzip2 | 高 | 慢 | 慢 | 归档存储 |
| lz4 | 低 | 很快 | 很快 | 热存储 |
| zstd | 高 | 快 | 很快 | 推荐通用 |
| snappy | 低 | 很快 | 很快 | 实时场景 |

### Elasticsearch 压缩

**压缩配置**：
```yaml
# elasticsearch.yml

# 索引压缩
index.codec: best_compression  # 或 default_compression

# HTTP 压缩
http.compression: true

# 压缩级别
index.codec.compression_level: 6  # 1-9
```

**压缩效果**：
```
原始日志：100GB
gzip 压缩后：20-30GB (压缩比 3-5:1)
zstd 压缩后：15-25GB (压缩比 4-6:1)
```

### 日志轮转压缩

**logrotate 配置**：
```bash
# /etc/logrotate.d/syslog

/var/log/syslog
/var/log/messages
{
    rotate 7
    daily
    compress
    delaycompress
    missingok
    notifempty
    create 640 syslog adm
    postrotate
        /usr/lib/rsyslog/rsyslog-rotate
    endscript
}

# 自定义压缩选项
compresscmd /usr/bin/zstd
uncompresscmd /usr/bin/zstd -d
compressext .zst
compressoptions -6
```

---

## 保留策略

### 保留期限设定

**基于合规要求**：
| 合规标准 | 最低保留期限 |
|----------|-------------|
| 等保 2.0 | 6 个月 |
| PCI-DSS | 1 年 |
| HIPAA | 6 年 |
| GDPR | 按需（最小化） |
| SOX | 7 年 |

**基于业务需求**：
- 安全分析：30-90 天
- 事件调查：90-180 天
- 趋势分析：1-2 年
- 合规归档：3-7 年

### ILM (Index Lifecycle Management)

**完整策略示例**：
```json
PUT _ilm/policy/security-logs-policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_size": "50GB",
            "max_age": "7d",
            "max_docs": 100000000
          },
          "set_priority": {
            "priority": 100
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "set_priority": {
            "priority": 50
          },
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          },
          "allocate": {
            "require": {
              "data": "warm"
            }
          }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "set_priority": {
            "priority": 0
          },
          "freeze": {},
          "allocate": {
            "require": {
              "data": "cold"
            }
          }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}
```

**应用策略到索引模板**：
```json
PUT _index_template/security-logs
{
  "index_patterns": ["security-logs-*"],
  "template": {
    "settings": {
      "index.lifecycle.name": "security-logs-policy",
      "index.lifecycle.rollover_alias": "security-logs"
    }
  }
}
```

### 归档策略

**归档流程**：
```
1. 索引达到保留期限
2. 导出到归档存储
3. 验证归档完整性
4. 删除原索引
5. 记录归档位置
```

**归档脚本示例**：
```bash
#!/bin/bash

# 归档 90 天前的索引
ARCHIVE_DATE=$(date -d "90 days ago" +%Y.%m.%d)
INDEX_NAME="security-logs-${ARCHIVE_DATE}"

# 导出索引
curl -XPOST "localhost:9200/_snapshot/my_backup/snapshot_${INDEX_NAME}" \
  -H 'Content-Type: application/json' \
  -d '{
    "indices": "'${INDEX_NAME}'",
    "ignore_unavailable": true,
    "include_global_state": false
  }'

# 验证成功后删除原索引
curl -XDELETE "localhost:9200/${INDEX_NAME}"
```

---

## 存储优化

### 数据优化

**字段优化**：
- 移除不必要字段
- 缩短字段名称
- 使用数值代替字符串

**日志采样**：
```
DEBUG 日志：100% 丢弃
INFO 日志：90% 采样
WARN 日志：100% 保留
ERROR 日志：100% 保留
```

### 索引优化

**分片优化**：
- 根据数据量调整分片数
- 避免过小分片 (<10GB)
- 避免过大分片 (>50GB)

**合并优化**：
```json
POST /security-logs-*/_forcemerge?max_num_segments=1
```

### 查询优化

**查询优化**：
- 使用过滤器而非查询
- 利用缓存
- 限制返回字段
- 使用时间范围过滤

---

## 合规要求

### 等保 2.0 要求

**日志存储要求**：
- 网络日志留存不少于 6 个月
- 重要日志实时备份
- 日志完整性保护
- 访问控制

### PCI-DSS 要求

**日志要求**：
- 保留至少 1 年
- 3 个月在线可用
- 完整性保护
- 时间同步

### GDPR 考虑

**数据最小化**：
- 仅保留必要日志
- 匿名化个人数据
- 明确的保留期限
- 删除权支持

---

## 总结与思考

### 核心要点回顾

1. **分层存储**：热温冷三层，平衡性能和成本
2. **压缩技术**：zstd 推荐，压缩比 4-6:1
3. **保留策略**：基于合规和业务需求
4. **ILM**：自动化生命周期管理
5. **存储优化**：数据、索引、查询多维度优化
6. **合规要求**：等保、PCI-DSS、GDPR 各有要求

### 深入思考

**成本与性能平衡**
- 热存储占比：10-20%
- 温存储占比：30-40%
- 冷存储占比：40-60%

**未来趋势**
- 云原生存储
- 智能分层
- 对象存储普及

---

## 参考资料

### 学习资源

- **Elasticsearch ILM**: https://www.elastic.co/guide/en/elasticsearch/reference/current/index-lifecycle-management.html
- **NIST SP 800-92**: 日志管理指南

### 工具资源

- **Elasticsearch**: https://www.elastic.co
- **S3 Glacier**: https://aws.amazon.com/s3/storage-classes/

---

*Day 298 完成 | 日志存储与归档详解 | 字数：约 10,000 字*