Shell脚本高效分析Nginx负载均衡日志

"本文主要介绍了如何使用shell脚本分析Nginx日志，特别是当Nginx作为前端负载均衡器，配合Keepalived构建高可用集群时，如何编写和运用shell脚本来获取访问量最高的网站、IP地址以及访问时间等关键信息。文中提供了一个名为`log-nginx.sh`的示例脚本，该脚本需要指定日志文件路径作为参数。" 在分析Nginx日志的过程中，shell脚本是一种高效且灵活的方法，尤其适用于实时监控和故障排查。以下是对标题和描述中涉及的知识点的详细说明： 1. **Nginx日志**：Nginx作为一款高性能的HTTP和反向代理服务器，会记录所有请求的详细信息到日志文件中，包括客户端IP、请求时间、请求的URL、响应状态码等。这些信息对于分析系统性能、流量统计和安全审计至关重要。 2. **Shell脚本**：Shell脚本是Linux/Unix环境下的一种程序设计语言，允许用户通过命令行接口执行一系列操作。在本场景中，shell脚本被用来自动化处理Nginx日志，提取出关键数据。 3. **Nginx+Keepalived集群**：Nginx与Keepalived结合，可以实现高可用性负载均衡，即当主Nginx服务器出现故障时，Keepalived会自动将流量切换到备用服务器，确保服务不间断。 4. **脚本示例**：`log-nginx.sh`脚本首先检查是否传入了日志文件参数，如果没有则提示错误并退出。然后，脚本会执行以下四个分析任务： - **最常访问的IP**：使用`awk`提取日志中的IP地址，通过`sort`、`uniq-c`计算出现次数，并用`sort -nr`进行降序排列，最后`head -10`显示前10个。 - **访问最频繁的时间段**：提取请求时间的小时部分，同样使用`sort`、`uniq-c`和`sort -nr`进行计数和排序，显示前10个最频繁的时间段。 - **最受欢迎的页面**：提取请求的URL，处理后只保留域名部分，再进行计数和排序，显示访问量最高的前10个页面。 - **访问最频繁的时间段和IP组合**：此部分未完整展示，但可以看出是在分析特定时间段内访问最频繁的IP。 通过这些脚本，运维人员可以快速了解系统流量分布，优化资源分配，识别潜在问题，如DDoS攻击或异常访问模式。 在实际应用中，根据业务需求，还可以进一步扩展shell脚本，例如分析响应状态码、检测慢速请求、追踪特定用户行为等。对于大型线上环境，还可以结合其他工具，如Logstash、Elasticsearch和Kibana（ELK栈）进行更复杂的日志分析和可视化。