Files
Knowledge/1 使用/线上偶发问题排查思路.md

1.2 KiB
Raw Permalink Blame History

  1. 信息收集(黄金5分钟) ├─ 影响范围:哪些用户/功能受影响?影响程度? ├─ 监控大盘:CPU、内存、磁盘、网络、GC、错误率、响应时间 ├─ 变更记录:最近发布、配置变更、数据变更 ├─ 关联系统:上下游服务、中间件状态

  2. 问题定位(按优先级) ├─ 检查错误日志:搜索ERROR/WARN,关注时间点 ├─ 线程分析:jstack或arthas thread -n 5 ├─ 内存分析:heapdump或jmap -histo:live ├─ GC分析:jstat -gcutil 或GC日志 ├─ 网络分析:tcpdump、netstat ├─ 数据库分析:慢查询日志、锁等待

  3. 深度诊断工具 ├─ Arthas:trace、watch、monitor命令 ├─ SkyWalking/Pinpoint:分布式链路追踪 ├─ Prometheus+Grafana:指标趋势分析 ├─ 日志平台:ELK/SLS日志聚合搜索

  4. 复现与验证 ├─ 测试环境复现:相同参数、相同数据 ├─ 代码审查:关注并发、资源泄露、边界条件 ├─ 压力测试:模拟线上流量模式

  5. 应急处理 ├─ 回滚:快速恢复服务 ├─ 扩容:临时缓解压力 ├─ 降级:关闭非核心功能 ├─ 限流:保护系统不被压垮