Day-245-网络流量分析与异常识别

# Day 268: 网络流量分析与异常识别

> 应急响应系列第 8 天 | 预计阅读时间：35 分钟 | 难度：★★★★☆

---

## 清单 目录

1. [网络流量分析概述](#网络流量分析概述)
2. [流量捕获技术](#流量捕获技术)
3. [协议分析基础](#协议分析基础)
4. [异常流量检测](#异常流量检测)
5. [恶意通信识别](#恶意通信识别)
6. [数据外传检测](#数据外传检测)
7. [实战案例分析](#实战案例分析)
8. [总结与思考](#总结与思考)
9. [参考资料](#参考资料)

---

## 网络流量分析概述

### 流量分析在应急响应中的价值

网络流量是攻击活动的"血液"，几乎所有攻击都会产生网络通信：

| 价值 | 说明 | 示例 |
|------|------|------|
| **攻击检测** | 发现恶意通信 | C2 连接、数据外传 |
| **范围确定** | 确定受影响主机 | 与恶意 IP 通信的主机列表 |
| **行为分析** | 理解攻击者行为 | 攻击手法、工具识别 |
| **证据收集** | 提供法律证据 | 完整的通信记录 |
| **效果验证** | 确认遏制成功 | 恶意通信已停止 |

### 流量分析层次

```
┌─────────────────────────────────────────────────────────────┐
│                    流量分析层次模型                          │
│                                                             │
│   ┌─────────────────────────────────────────────────────┐  │
│   │  应用层  │ HTTP、DNS、SMTP、数据库协议              │  │
│   ├─────────────────────────────────────────────────────┤  │
│   │  传输层  │ TCP/UDP 端口、连接状态、流量统计          │  │
│   ├─────────────────────────────────────────────────────┤  │
│   │  网络层  │ IP 地址、路由、TTL、分片                  │  │
│   ├─────────────────────────────────────────────────────┤  │
│   │  链路层  │ MAC 地址、ARP、VLAN                       │  │
│   └─────────────────────────────────────────────────────┘  │
│                                                             │
│   分析深度：浅 ←──────────────────→ 深                      │
│   处理开销：低 ←──────────────────→ 高                      │
│   检测精度：低 ←──────────────────→ 高                      │
└─────────────────────────────────────────────────────────────┘
```

### 流量分析挑战

| 挑战 | 说明 | 应对策略 |
|------|------|----------|
| **加密流量** | TLS 加密无法查看内容 | 端点检测、元数据分析 |
| **高带宽** | 大流量环境处理困难 | 采样、过滤、专用硬件 |
| **隐私合规** | 可能包含敏感信息 | 脱敏、最小化采集 |
| **误报率高** | 正常行为可能被误判 | 基线学习、上下文分析 |

---

## 流量捕获技术

### 捕获方法

#### 端口镜像（SPAN）

**原理**：交换机将指定端口的流量复制到监控端口

**配置示例**（Cisco）：
```bash
# 配置端口镜像
monitor session 1 source interface Gi0/1 - 24 both
monitor session 1 destination interface Gi0/48

# 验证配置
show monitor session 1
```

**优点**：
- 不影响生产流量
- 可捕获多端口流量

**缺点**：
- 需要交换机支持
- 可能丢包（镜像端口带宽不足）

#### 网络分路器（TAP）

**原理**：物理设备将流量复制到监控端口

**类型**：
| 类型 | 说明 | 适用场景 |
|------|------|----------|
| 被动 TAP | 无电源，完全被动 | 高安全要求 |
| 主动 TAP | 需要电源，有缓冲 | 长距离传输 |
| 聚合 TAP | 多链路聚合到单监控口 | 多链路监控 |

**优点**：
- 完全透明，不影响网络
- 不会丢包（有缓冲）

**缺点**：
- 需要物理接入
- 成本较高

#### 主机抓包

**工具**：
- tcpdump（Linux/Unix）
- Wireshark（跨平台）
- Microsoft Message Analyzer（Windows）

**示例**：
```bash
# tcpdump 基本用法
tcpdump -i eth0 -w capture.pcap

# 捕获特定端口
tcpdump -i eth0 port 80 -w http.pcap

# 捕获特定主机
tcpdump -i eth0 host 192.168.1.100 -w host.pcap

# 捕获并显示内容
tcpdump -i eth0 -A port 80 | head -100
```

### 捕获策略

#### 全量捕获 vs 选择性捕获

| 策略 | 优点 | 缺点 | 适用场景 |
|------|------|------|----------|
| **全量捕获** | 完整记录，可回溯 | 存储成本高 | 关键网段、小环境 |
| **选择性捕获** | 存储效率高 | 可能遗漏 | 大环境、日常监控 |
| **触发式捕获** | 按需启动，效率高 | 可能错过触发前流量 | 应急响应 |

#### 捕获位置选择

```
                    ┌─────────────┐
                    │   互联网    │
                    └──────┬──────┘
                           │
                    ┌──────▼──────┐
                    │   防火墙    │  ← 捕获点 1：边界流量
                    └──────┬──────┘
                           │
                    ┌──────▼──────┐
                    │  核心交换机  │  ← 捕获点 2：内部东西向流量
                    └──────┬──────┘
                           │
              ┌────────────┼────────────┐
              │            │            │
       ┌──────▼──────┐ ┌──▼────┐ ┌────▼────┐
       │  服务器区   │ │ 办公区 │ │  DMZ   │  ← 捕获点 3：区域入口
       └─────────────┘ └───────┘ └─────────┘
```

**关键捕获点**：
1. **互联网边界** - 检测外部攻击
2. **核心交换机** - 检测横向移动
3. **关键区域入口** - 检测针对关键资产的攻击
4. **DMZ 区域** - 检测对外服务攻击

### 存储策略

| 存储类型 | 保留时间 | 存储介质 | 用途 |
|----------|----------|----------|------|
| **热存储** | 7-30 天 | SSD/高速磁盘 | 实时分析、快速查询 |
| **温存储** | 30-90 天 | HDD | 历史分析、事件调查 |
| **冷存储** | 90 天 -1 年 | 磁带/对象存储 | 合规、长期追溯 |

---

## 协议分析基础

### HTTP/HTTPS 分析

#### HTTP 请求分析

**关键字段**：
```
GET /admin/login.php HTTP/1.1
Host: example.com
User-Agent: Mozilla/5.0 ...
Cookie: session=xxx
Content-Type: application/x-www-form-urlencoded
Content-Length: 50

username=admin&password=xxx
```

**检测场景**：

| 场景 | 检测特征 |
|------|----------|
| SQL 注入 | UNION SELECT、OR 1=1、注释符 |
| XSS 攻击 | `<script>`、javascript:、事件处理器 |
| 目录遍历 | `../`、`%2e%2e%2f` |
| 命令注入 | `;`、`|`、`&&`、`$()` |
| 文件包含 | `include=`、`page=`、`file=` |

#### HTTPS 分析挑战

**无法直接查看内容**，但可分析元数据：

| 元数据 | 用途 |
|--------|------|
| SNI（Server Name Indication） | 识别访问的域名 |
| 证书信息 | 识别服务器身份 |
| 流量大小和时间 | 行为分析 |
| JA3 指纹 | 客户端识别 |

**JA3 指纹**：
```
JA3 = MD5(SSL Version, Accepted Ciphers, Extensions, Elliptic Curves, EC Point Formats)

示例：
正常 Chrome: ea4d7ac78319213eff3c55b1ac5f5f9e
Cobalt Strike: 72a589da586844d73031748e898905fc
```

### DNS 分析

#### DNS 查询类型

| 类型 | 说明 | 安全关注 |
|------|------|----------|
| A | 域名→IPv4 | 恶意域名访问 |
| AAAA | 域名→IPv6 | 恶意域名访问 |
| TXT | 文本记录 | DNS 隧道、C2 |
| MX | 邮件交换 | 钓鱼域名 |
| CNAME | 别名 | 重定向检测 |

#### 恶意 DNS 检测

**DGA（域名生成算法）检测**：
```
特征：
- 域名长度异常（过长）
- 熵值高（随机字符）
- 无意义字母组合
- 大量 NXDOMAIN 响应

示例：
正常：www.google.com
可疑：x7k9m2p4q8r1.evil.com
```

**DNS 隧道检测**：
```
特征：
- 异常长的子域名
- 高频 DNS 查询
- TXT 记录异常使用
- 编码数据特征（Base64、Hex）

示例：
正常：www.example.com
隧道：YWxpY2U6Ym9iQGV4YW1wbGUuY29t.tunnel.evil.com
```

**检测命令**：
```bash
# 统计 DNS 查询频率
tshark -Y "dns" -T fields -e dns.qry.name | sort | uniq -c | sort -rn

# 检测长域名
tshark -Y "dns" -T fields -e dns.qry.name | awk 'length > 50'

# 检测高频查询同一域名
tshark -Y "dns" -T fields -e dns.qry.name | sort | uniq -c | awk '$1 > 100'
```

### SMB 分析

#### SMB 攻击场景

| 攻击类型 | 说明 | 检测特征 |
|----------|------|----------|
| **SMB 扫描** | 探测开放共享 | 大量 445 端口连接 |
| **凭证传递** | 使用窃取凭证 | 同一用户多主机登录 |
| **PsExec** | 远程命令执行 | SMB+ 服务创建 |
| **WMI 横向** | WMI 远程执行 | DCERPC 调用 |

#### PsExec 检测

```
SMB 流量特征：
1. 连接到 ADMIN$ 或 C$ 共享
2. 上传可执行文件（PSEXESVC.exe）
3. 创建服务（Service Control Manager）
4. 启动服务

Wireshark 过滤：
tcp.port == 445 and smb.cmd == 0x25 (NT Create AndX)
```

### RDP 分析

#### RDP 攻击检测

| 攻击类型 | 检测特征 |
|----------|----------|
| **暴力破解** | 大量 RDP 连接尝试 |
| **中间人** | 证书不匹配告警 |
| **异常登录** | 非工作时间、异常源 IP |
| **剪贴板重定向** | 剪贴板通道启用 |

**检测命令**：
```bash
# 统计 RDP 连接
tshark -Y "tcp.port == 3389" -T fields -e ip.src -e ip.dst | \
sort | uniq -c | sort -rn
```

---

## 异常流量检测

### 基线建立

#### 流量基线指标

| 指标 | 说明 | 基线方法 |
|------|------|----------|
| **带宽使用** | 各时段流量大小 | 7 天/30 天平均 |
| **连接数** | 并发连接数量 | 百分位统计 |
| **协议分布** | 各协议占比 | 比例统计 |
| **端口使用** | 常用端口列表 | 频率统计 |
| **通信对** | 常见通信主机对 | 连接矩阵 |

#### 基线建立流程

```
数据收集 ──→ 清洗 ──→ 统计 ──→ 建模 ──→ 验证
   │                                      │
   └────────────── 持续更新 ──────────────┘
```

**时间维度考虑**：
- 工作日 vs 周末
- 工作时间 vs 非工作时间
- 业务高峰期 vs 低峰期
- 特殊日期（促销、节假日）

### 异常检测算法

#### 统计方法

**阈值检测**：
```python
# 简单阈值
if traffic > baseline_mean + 3 * baseline_std:
    alert("流量异常")

# 动态阈值（考虑时间）
threshold = get_threshold_for_time(hour, day_of_week)
if traffic > threshold:
    alert("流量异常")
```

**CUSUM（累积和）检测**：
```python
# 检测持续的小幅异常
cusum = 0
for value in values:
    cusum += value - baseline_mean
    if cusum > threshold:
        alert("持续异常")
        cusum = 0
```

#### 机器学习方法

| 算法 | 适用场景 | 特点 |
|------|----------|------|
| **孤立森林** | 异常检测 | 无需标记数据 |
| **One-Class SVM** | 异常检测 | 适合高维数据 |
| **Autoencoder** | 异常检测 | 深度学习，效果好 |
| **聚类分析** | 行为分组 | 发现异常群体 |

### 常见异常模式

#### 流量激增

**可能原因**：
- DDoS 攻击
- 数据外传
- 病毒/蠕虫传播
- 业务异常

**分析方法**：
```bash
# 查看流量 Top 主机
tshark -q -z conv,ip -r capture.pcap | head -20

# 查看流量时间分布
tshark -q -z io,stat,60 -r capture.pcap
```

#### 异常连接

**检测场景**：

| 场景 | 特征 |
|------|------|
| **扫描活动** | 单 IP 连接多目标/多端口 |
| **C2 通信** | 定期连接、小流量、加密 |
| **横向移动** | 内部主机间异常连接 |
| **数据外传** | 大流量外连、非常规端口 |

#### 协议异常

**检测场景**：

| 场景 | 特征 |
|------|------|
| **非标准端口** | HTTP 在 8080 以外端口 |
| **协议不匹配** | 端口 80 但非 HTTP 流量 |
| **隧道流量** | DNS/ICMP 携带大量数据 |
| **加密异常** | 自签名证书、异常 JA3 |

---

## 恶意通信识别

### C2 通信特征

#### 通信模式

| 特征 | 说明 | 检测方法 |
|------|------|----------|
| **心跳** | 定期连接 | 时间间隔分析 |
| **信标** | 携带主机信息 | Payload 分析 |
| **指令拉取** | 获取攻击指令 | 响应内容分析 |
| **数据上传** | 上传窃取数据 | 流量大小分析 |

#### 常见 C2 协议

| 协议 | 特点 | 检测难度 |
|------|------|----------|
| **HTTP/HTTPS** | 伪装正常流量 | 中 |
| **DNS** | 绕过防火墙 | 中 - 高 |
| **ICMP** | 隐蔽通信 | 中 |
| **社交媒体** | 使用公开平台 | 高 |
| **云服务** | 使用合法云服务 | 高 |

#### Cobalt Strike 检测

**Beacon 特征**：
```
HTTP Beacon:
- User-Agent 固定或轮换
- URL 路径固定模式
- Cookie 包含编码数据
- 定期 GET/POST 请求

DNS Beacon:
- 子域名包含编码数据
- 高频 TXT/A 记录查询
- 域名模式固定
```

**检测规则**（示例）：
```yara
rule Cobalt_Strike_Beacon {
    meta:
        description = "Detect Cobalt Strike HTTP Beacon"
    strings:
        $ua1 = "Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"
        $ua2 = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"
        $path1 = "/jquery-1.11.0.js"
        $path2 = "/en-us/home"
    condition:
        any of them
}
```

### 恶意软件通信

#### 僵尸网络通信

**特征**：
- 连接已知恶意 IP/域名
- P2P 协议通信
- IRC 协议通信
- 定期心跳

#### 勒索软件通信

**特征**：
- 连接 C2 获取密钥
- 大量加密文件后的外传
- 使用 Tor 网络
- 勒索信上传

#### 挖矿木马通信

**特征**：
- 连接矿池（stratum 协议）
- 端口 3333、4444、5555
- 持续高 CPU 使用率
- 矿池域名特征

**常见矿池检测**：
```bash
# 检测矿池连接
tshark -Y "tcp.port == 3333 or tcp.port == 4444" -T fields -e ip.dst | \
sort | uniq -c

# 检测 stratum 协议
tshark -Y "tcp" -T fields -e tcp.payload | \
grep -i "stratum\|mining\|submit"
```

### 横向移动检测

#### SMB 横向移动

**检测特征**：
```
1. 管理员账户连接多台主机
2. 连接 ADMIN$、C$ 共享
3. 创建服务或计划任务
4. 上传可执行文件

Wireshark 过滤器：
tcp.port == 445 and smb.cmd == 0x25
smb.file == "PSEXESVC.exe"
```

#### WMI 横向移动

**检测特征**：
```
1. DCERPC 绑定 WMI
2. 创建远程进程
3. 查询系统信息

端口：135 (RPC)、动态高端口
```

#### SSH 横向移动

**检测特征**：
```
1. 同一账户登录多台主机
2. 非工作时间登录
3. 异常源 IP
4. 快速连续登录

日志分析：
grep "Accepted" /var/log/auth.log | \
awk '{print $9}' | sort | uniq -c
```

---

## 数据外传检测

### 外传渠道

| 渠道 | 检测难度 | 检测方法 |
|------|----------|----------|
| **HTTP/HTTPS** | 中 | 流量大小、URL 模式 |
| **FTP** | 低 | 明文协议、文件传输 |
| **邮件** | 中 | 大附件、外发频率 |
| **DNS** | 高 | 隧道检测 |
| **云存储** | 高 | 域名识别、API 检测 |
| **即时通讯** | 高 | 应用识别困难 |

### 检测方法

#### 流量大小分析

**阈值检测**：
```
规则：
- 单主机外传流量 > 1GB/小时
- 非工作时间外传 > 100MB
- 向单一目的地外传 > 500MB

实现：
tshark -q -z io,stat,3600,"ip.src==192.168.1.100 and ip.dst!=192.168.0.0/16"
```

#### 异常目的地检测

**检测规则**：
```
规则：
- 连接新目的地（历史未出现）
- 连接高风险国家/地区
- 连接已知恶意 IP
- 连接云存储（非常规业务）

实现：
# 提取外连 IP
tshark -Y "ip.src==192.168.0.0/16 and ip.dst!=192.168.0.0/16" \
  -T fields -e ip.dst | sort -u
```

#### 内容分析

**敏感数据检测**：
```
检测内容：
- 身份证号模式
- 信用卡号模式
- 数据库导出特征
- 压缩文件传输

DLP 规则示例：
正则：\d{18}|\d{4}[- ]?\d{4}[- ]?\d{4}[- ]?\d{4}
```

### 外传时间线重建

```
步骤：
1. 识别外传开始时间
2. 确定外传总量
3. 识别外传目的地
4. 分析外传内容类型
5. 关联内部文件访问

工具：
- NetworkMiner（文件提取）
- Xplico（协议分析）
- 自定义脚本
```

---

## 实战案例分析

### 案例 1：APT 攻击检测

**场景**：某企业检测到可疑外连

**分析过程**：

```
1. 告警触发
   - SIEM 告警：内部主机定期连接外部 IP
   - 频率：每 5 分钟一次
   - 流量：小流量（<1KB）

2. 流量分析
   - 协议：HTTPS
   - 域名：cdn-update[.]xyz（新注册域名）
   - JA3 指纹：匹配 Cobalt Strike

3. 主机调查
   - 进程：svchost.exe（异常路径）
   - 持久化：计划任务
   - 时间：计划任务创建于凌晨 3 点

4. 响应措施
   - 隔离主机
   - 阻断域名
   - 清除持久化
   - 全网扫描
```

**经验教训**：
- 定期连接是 C2 典型特征
- JA3 指纹是重要检测指标
- 新注册域名需要关注

### 案例 2：数据外传调查

**场景**：员工离职前可疑行为

**分析过程**：

```
1. 线索来源
   - 部门经理报告：员工异常加班
   - HR 通知：员工已提交辞职

2. 日志分析
   - 文件服务器：访问大量敏感文件
   - 时间：离职前一周，每天工作到深夜

3. 流量分析
   - 外传流量：约 50GB
   - 目的地：个人云存储
   - 时间：主要在 22:00-24:00

4. 证据收集
   - 网络流量 PCAP
   - 文件访问日志
   - 云存储上传记录

5. 处置
   - 保全证据
   - 法务介入
   - 权限审查
```

---

## 总结与思考

### 核心要点回顾

1. **流量分析是核心能力** - 大多数攻击都会产生网络流量

2. **捕获位置决定视野** - 边界 + 内部关键节点

3. **基线是异常检测基础** - 没有基线就没有异常

4. **加密不是终点** - 元数据分析依然有效

5. **关联分析发现复杂攻击** - 单点检测易被绕过

### 实战建议

1. **部署关键捕获点** - 边界、核心、关键区域

2. **建立流量基线** - 持续学习和更新

3. **集成威胁情报** - IOC 实时匹配

4. **定期演练** - 验证检测能力

5. **保护隐私合规** - 脱敏和最小化采集

---

## 参考资料

### 学习资源

- **Wireshark University** - https://www.wireshark.org/
- **SANS Network Forensics** - https://www.sans.org/forensics/
- **NIST SP 800-94** - Guide to Intrusion Detection and Prevention Systems

### 工具资源

- **Wireshark** - https://www.wireshark.org/
- **Zeek (Bro)** - https://zeek.org/
- **Suricata** - https://suricata.io/
- **NetworkMiner** - https://www.netresec.com/
- **tshark** - Wireshark 命令行版本

### 威胁情报

- **AlienVault OTX** - https://otx.alienvault.com/
- **VirusTotal** - https://www.virustotal.com/
- **Abuse.ch** - https://abuse.ch/

---

*365 天信息安全技术系列 | Day 268 | 网络流量分析与异常识别*