线上问题排查工具和手段

线上问题排除的工具和手段

--轻然（浦薇娜）

前言

日志分析

天猫应用日志存放位置

Apache日志

Jboss日志

监控日志

系统运行基本状况

查看80端口的进程

查看Apache进程

统计Apache进程数

Apache日志所在目录

统计目录下日志总大小

查看某个日志文件大小

TIME_WAIT的前20 IP

查找访问前10位的IP地址

查找当天访问次数前10位的页面

查看302 200比例是否正常

jmap dump内存到文件

使用jstat监控VM内存和gc情况

使用jstat查看加载class的数量，及所占空间等信息

Linux监测命令

使用top查看系统整体运行情况

使用uptime查看服务器load情况

sar-q查看机器Load情况

sar-u查看cpu使用情况

sar-n DEV查看网络流量

sar-n SOCK查看socket连接资源

使用netstat统计特殊端口的网络连接情况

查看cpu信息

查看内存信息

使用ifconfig查看网络配置信息

案例分析

案例一：淘江湖压测6个小时后OOM异常

案例二：Sell机器Load过高，有宕机趋势

参考

前言

位于 /home/admin/cai/logs/cronolog/YYYY/MM/ 应用的访问日志

Jboss日志

位于/home/admin/APP_NAME/logs

●

jboss_stdout.log 标准输出

●

hsf.log HSF相关的日志 (配置推送, 超时, 异常等等)

●

APP_NAME.log 主动记录的应用日志 (合理利用日志级别, 记录有用的日志信息)

监控日志

Apache日志文件格式说明

摘录线上机器的access.log 文件中的一段日志：

119.86.233.39 36225 - [14/Jan/2012:00:00:06 +0800] "GET http://detail.tmall.com/item.htm?

id=12491480724&cm_cat=50097377&pm2=2&source=dou&prt=1326470406041&prc=1"

200 29232 "http://list.taobao.com/market/hobby.htm?

TBG=151834.185136.10&spm=1.151834.185136.10&cat=50097377&sort=coefp&style=gri

d&isprepay=1&random=false&viewIndex=7&yp4p_page=0&mSelect=false&commend=all" "

Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63

Safari/535.7 360EE"

要知道这个日志记录的信息都代表了什么意思，首先要了解线上机器的access.log 文件的

%l

%r

%D

%u

%t

%q

%>s

%b

TCP连接状态说明