线上服务CPU高问题排查与解决步骤

"线上服务遇到CPU占用过高的问题，通过一系列排查步骤来定位问题原因。首先使用`top`命令找到占用CPU的应用进程ID，接着使用`top -Hp`找到具体的线程ID，然后通过`printf '%x\n'`将线程ID转换为16进制，最后使用`jstack`命令结合16进制线程ID查看线程状态。如果发现线程处于死循环，可能的原因包括GC问题、磁盘IO或数据库问题。需要保留现场，如使用`jstack -l [pid] > /path/[pid].stack`保存堆栈信息，以及`jmap -heap [pid]`保存内存信息，以便进一步分析。对于内存信息，可以使用MAT工具进行分析。" 在线上环境中，当遇到CPU利用率异常升高，导致服务不稳定甚至挂掉时，正确的处理方式并不是简单地重启服务，而是要深入调查问题根源。以下是一套常用的排查步骤： 1. **使用`top`命令**：`top`命令可以实时监控系统资源使用情况，找出CPU占用率最高的进程ID（pid-app）。 2. **使用`top -Hp`命令**：结合`-H`参数，可以查看指定进程下的所有线程及其CPU占用情况，从而找到最消耗CPU的线程ID（pid-thread）。 3. **线程ID转换**：使用`printf '%x\n'`将线程ID转换为16进制形式（pid-thread-hex），便于后续使用`jstack`命令查找。 4. **`jstack`命令**：通过`jstack`命令配合16进制的线程ID，可以获取该线程的堆栈信息，了解线程当前执行的状态，判断是否出现死循环或其他异常状况。 5. **排查方向**：如果发现线程处于死循环，应检查GC日志，分析垃圾回收情况；同时关注磁盘IO性能，因为I/O阻塞也可能导致CPU占用过高；另外，检查数据库连接和查询效率，确保没有长时间未完成的SQL请求。 6. **保留现场**：使用`jstack -l [pid] > /path/[pid].stack`保存当前的线程堆栈信息，以便后续分析；`jmap -heap [pid]`则用于导出堆内存信息，这对于分析内存泄漏或GC问题非常有用。 7. **内存分析**：导出的内存信息可以借助如Eclipse Memory Analyzer (MAT)等工具进行深入分析，找出可能的内存泄漏、对象生命周期问题或者不合理的内存分配。 通过以上步骤，通常可以定位到问题所在，从而采取针对性的优化措施，避免问题再次发生。在日常运维中，掌握这些技能对提升线上服务的稳定性至关重要。