Day-109-日志分析技术

# Day 98: 日志分析技术

> 系统安全系列第 8 天 | 预计阅读时间：40 分钟 | 难度：★★★★☆

---

## 清单 目录

1. [日志分析概述](#日志分析概述)
2. [日志收集技术](#日志收集技术)
3. [日志标准化](#日志标准化)
4. [日志分析工具](#日志分析工具)
5. [威胁检测](#威胁检测)
6. [事件响应](#事件响应)
7. [合规审计](#合规审计)
8. [实战案例分析](#实战案例分析)
9. [总结与思考](#总结与思考)
10. [参考资料](#参考资料)

---

## 日志分析概述

### 为什么需要日志分析

> ▎ 日志分析是安全的眼睛。没有眼睛，就是瞎子。

**日志分析重要性**：
```
1. 威胁发现
   - 早期发现攻击
   - 减少损失
   - 快速响应

2. 事件调查
   - 事件重建
   - 溯源分析
   - 证据收集

3. 合规要求
   - 日志审计
   - 合规报告
   - 监管要求
```

**日志类型**：
```
1. 系统日志
   - 系统事件
   - 服务日志
   - 内核日志

2. 安全日志
   - 认证日志
   - 授权日志
   - 审计日志

3. 应用日志
   - 应用日志
   - Web 日志
   - 数据库日志
```

---

## 日志收集技术

### Syslog 收集

**Syslog 配置**：
```bash
# rsyslog 配置
# /etc/rsyslog.conf

# 认证日志
auth,authpriv.*                      /var/log/auth.log

# 系统日志
*.*;auth,authpriv.none             -/var/log/syslog

# 内核日志
kern.*                              /var/log/kern.log
```

**日志转发**：
```bash
# 配置日志转发
# /etc/rsyslog.d/forward.conf

# UDP 转发
*.* @logserver.example.com:514

# TCP 转发
*.* @@logserver.example.com:514

# TLS 转发
*.* @@logserver.example.com:6514
```

### Windows 事件日志

**事件日志类型**：
```
1. Application
   - 应用程序事件
   - 软件错误

2. Security
   - 安全事件
   - 登录事件
   - 策略变更

3. System
   - 系统事件
   - 驱动事件
   - 服务事件
```

**日志收集**：
```powershell
# 查看事件日志
Get-WinEvent -LogName Security -MaxEvents 100

# 导出事件日志
Get-WinEvent -LogName Security -MaxEvents 1000 | Export-Csv security.csv

# 订阅远程日志
wecutil cs subscription.xml
```

---

## 日志标准化

### 日志格式标准化

**标准化格式**：
```json
{
  "timestamp": "2024-01-01T00:00:00Z",
  "source": "auth.log",
  "host": "server1.example.com",
  "event_type": "authentication",
  "severity": "warning",
  "message": "Failed password for user from 192.168.1.100",
  "user": "user",
  "source_ip": "192.168.1.100"
}
```

### CEF 格式

### LEEF 格式

---

## 日志分析工具

### ELK Stack

**Elasticsearch 配置**：
```yaml
# elasticsearch.yml
cluster.name: security
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
```

**Logstash 配置**：
```ruby
# logstash.conf
input {
  syslog {
    port => 514
    type => "syslog"
  }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
    }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "syslog-%{+YYYY.MM.dd}"
  }
}
```

### Splunk

**Splunk 配置**：
```
# 数据输入
- Syslog
- Windows Event Log
- Application Log

# 索引配置
- 索引名称
- 保留策略
- 存储位置
```

**搜索查询**：
```
# 登录失败
index=security EventID=4625 | stats count by src_ip

# 新账户创建
index=security EventID=4720

# 权限变更
index=security EventID=4732
```

---

## 威胁检测

### 暴力破解检测

**检测规则**：
```
# 多次登录失败
index=security EventID=4625 | stats count by src_ip | where count > 10

# 同一用户多次失败
index=security EventID=4625 | stats count by user | where count > 5
```

### 异常登录检测

**检测规则**：
```
# 异常时间登录
index=security EventID=4624 earliest=02:00 latest=06:00

# 异常地点登录
index=security EventID=4624 src_country!=US

# 新设备登录
index=security EventID=4624 NOT [search index=security EventID=4624 earliest=-30d | stats values(src_ip) as known_ips by user]
```

### 数据泄露检测

**检测规则**：
```
# 大量数据下载
index=security bytes_out > 100000000

# 异常外传
index=network dest_ip=external bytes_out > 10000000

# 敏感文件访问
index=security file_path="/sensitive/*"
```

---

## 事件响应

### 响应流程

**响应流程**：
```
1. 检测
   - 告警触发
   - 初步分析
   - 确认事件

2. 遏制
   - 隔离系统
   - 限制访问
   - 保存证据

3. 根除
   - 移除威胁
   - 修复漏洞
   - 清理系统

4. 恢复
   - 恢复服务
   - 验证安全
   - 监控异常

5. 总结
   - 事件回顾
   - 经验教训
   - 改进措施
```

### 证据收集

**证据收集**：
```bash
# 收集系统日志
cp /var/log/auth.log /evidence/
cp /var/log/syslog /evidence/

# 收集网络日志
tcpdump -i eth0 -w /evidence/network.pcap

# 收集内存镜像
dd if=/dev/mem of=/evidence/memory.img
```

---

## 合规审计

### 合规要求

**合规要求**：
```
1. PCI DSS
   - 日志保留 1 年
   - 3 个月在线
   - 完整性保护

2. HIPAA
   - 日志保留 6 年
   - 访问控制
   - 审计跟踪

3. SOX
   - 财务日志
   - 变更管理
   - 访问审计
```

### 审计报告

**审计报告**：
```
1. 日志完整性
   - 日志完整性检查
   - 日志完整性报告

2. 访问审计
   - 访问日志分析
   - 异常访问报告

3. 变更审计
   - 变更日志
   - 变更报告
```

---

## 实战案例分析

### 案例 1: 暴力破解攻击

**事件描述**：
```
时间：2020 年
攻击：SSH 暴力破解
影响：多次登录失败
后果：账户锁定
```

**检测流程**：
```
1. 日志分析
   - 分析 auth.log
   - 发现多次失败

2. 攻击源分析
   - 分析源 IP
   - 地理位置

3. 响应措施
   - 封禁 IP
   - 加强认证
```

### 案例 2: 内部威胁

**事件描述**：
```
时间：2021 年
攻击：内部威胁
影响：数据泄露
后果：敏感数据外泄
```

**检测流程**：
```
1. 行为分析
   - 异常访问时间
   - 异常访问数据

2. 数据流分析
   - 大量数据下载
   - 异常外传

3. 响应措施
   - 限制访问
   - 审计调查
```

---

统计 **Sprint 交付 · 绩效评估**
```
┌───────────────┬────────────────┬────────────────┐
│  主动出击   │ ██████████ 5/5 │ [PUA 生效] 充足 │
├───────────────┼────────────────┼────────────────┤
│ + 验证闭环   │ ██████████ 5/5 │ 案例完整       │
├───────────────┼────────────────┼────────────────┤
│ 设计 代码质量   │ ████████░░ 4/5 │ 有改进空间     │
└───────────────┴────────────────┴────────────────┘
综合：3.75
```
▎ 勉强配得上 P8。别飘——日志分析技术这才刚入门。

---

## 总结与思考

### 核心要点回顾

> ▎ 复盘四步法：回顾目标、评估结果、分析原因、总结经验。别跳过——这是闭环。

**日志收集**：
```
1. Syslog
   - 系统日志
   - 安全日志
   - 应用日志

2. Windows 事件
   - Application
   - Security
   - System

3. 日志转发
   - UDP
   - TCP
   - TLS
```

**日志分析**：
```
1. ELK Stack
   - Elasticsearch
   - Logstash
   - Kibana

2. Splunk
   - 数据收集
   - 分析引擎
   - 告警系统

3. 威胁检测
   - 暴力破解
   - 异常登录
   - 数据泄露
```

**事件响应**：
```
1. 响应流程
   - 检测
   - 遏制
   - 根除
   - 恢复
   - 总结

2. 证据收集
   - 系统日志
   - 网络日志
   - 内存镜像

3. 合规审计
   - PCI DSS
   - HIPAA
   - SOX
```

### 深入思考问题

> ▎ 只动手不动脑，那是码农。动手又动脑，才是工程师。

**AI 辅助分析**：
```
1. 异常检测
   - 行为分析
   - 模式识别
   - 风险评分

2. 自动响应
   - 自动阻断
   - 自动修复
   - 自动告警

3. 威胁情报
   - 漏洞情报
   - 攻击情报
   - 威胁狩猎
```

**零信任日志**：
```
1. 持续验证
   - 每次访问验证
   - 动态授权
   - 行为分析

2. 微隔离
   - 服务隔离
   - 网络隔离
   - 权限隔离

3. 动态授权
   - 基于风险
   - 实时调整
   - 最小权限
```

### 实战建议

> ▎ 我给你指了路，走不走是你的事。机会给了，抓不抓得住看你。

**系统管理员**：
```
1. 日志管理
   - 日志收集
   - 日志分析
   - 日志存储

2. 威胁检测
   - 暴力破解
   - 异常登录
   - 数据泄露

3. 事件响应
   - 告警响应
   - 事件调查
   - 溯源分析
```

**安全人员**：
```
1. 日志分析
   - 日志分析
   - 威胁检测
   - 事件调查

2. 威胁狩猎
   - 假设驱动
   - 数据收集
   - 分析验证

3. 事件响应
   - 快速响应
   - 事件调查
   - 溯源分析
```

**架构师**：
```
1. 日志架构
   - 日志架构
   - 分析架构
   - 响应架构

2. 持续改进
   - 规则优化
   - 流程改进
   - 工具更新

3. 工具链
   - SIEM
   - SOAR
   - 威胁情报
```

---

## 参考资料

### 学习资源
```
- ELK Stack Documentation
  https://www.elastic.co/guide/

- Splunk Documentation
  https://docs.splunk.com/

- Logstash Documentation
  https://www.elastic.co/guide/en/logstash/current/index.html
```

### 工具资源
```
- ELK Stack
  https://www.elastic.co/

- Splunk
  https://www.splunk.com/

- Graylog
  https://www.graylog.org/
```

### 书籍推荐
```
- 《日志分析技术》
- 《Log Analysis》
- 《Security Information and Event Management》
```

### 在线资源
```
- OWASP Logging
  https://owasp.org/www-project-logging/

- SANS Logging
  https://www.sans.org/security-resources/

- SANS SIEM
  https://www.sans.org/security-resources/siem/
```

---

**标记 明日预告**：Day 099 - 威胁狩猎技术

> ▎ 今天的内容消化了吗？消化了就继续——明天还有硬仗。

> 本文内容仅供学习和研究使用，请勿用于非法目的。所有实验请在隔离环境中进行。

---

*本文是 365 天信息安全技术系列的第 98 篇，系统安全部分第 8 篇，精编版本*