30 lines
1.2 KiB
Markdown
30 lines
1.2 KiB
Markdown
1. 信息收集（黄金5分钟）
|
||
├─ 影响范围：哪些用户/功能受影响？影响程度？
|
||
├─ 监控大盘：CPU、内存、磁盘、网络、GC、错误率、响应时间
|
||
├─ 变更记录：最近发布、配置变更、数据变更
|
||
├─ 关联系统：上下游服务、中间件状态
|
||
|
||
2. 问题定位（按优先级）
|
||
├─ 检查错误日志：搜索ERROR/WARN，关注时间点
|
||
├─ 线程分析：jstack或arthas thread -n 5
|
||
├─ 内存分析：heapdump或jmap -histo:live
|
||
├─ GC分析：jstat -gcutil 或GC日志
|
||
├─ 网络分析：tcpdump、netstat
|
||
├─ 数据库分析：慢查询日志、锁等待
|
||
|
||
3. 深度诊断工具
|
||
├─ Arthas：trace、watch、monitor命令
|
||
├─ SkyWalking/Pinpoint：分布式链路追踪
|
||
├─ Prometheus+Grafana：指标趋势分析
|
||
├─ 日志平台：ELK/SLS日志聚合搜索
|
||
|
||
4. 复现与验证
|
||
├─ 测试环境复现：相同参数、相同数据
|
||
├─ 代码审查：关注并发、资源泄露、边界条件
|
||
├─ 压力测试：模拟线上流量模式
|
||
|
||
5. 应急处理
|
||
├─ 回滚：快速恢复服务
|
||
├─ 扩容：临时缓解压力
|
||
├─ 降级：关闭非核心功能
|
||
├─ 限流：保护系统不被压垮 |