K8s Apache 日志解析：正则表达式实战

该文档主要讨论了在 Kubernetes (k8s) 环境下，Apache 服务器如何解析日志中的正则表达式，特别是针对三种不同格式的日志：Python 的 API.log 形式、Python 的 access.log 形式以及自定义形式。Apache 日志解析是监控和分析 Web 服务器行为的关键部分，它可以帮助我们理解应用程序的运行状况和用户行为。 ### 第一种形式：Python 的 API.log 形式 这种日志格式通常由 Python 应用程序生成，例如 OpenStack 的 oslo.db 模块。日志样例如下： ``` 2021-07-08 06:50:32.4361 DEBUG oslo_db.api [-] Loading backend 'sqlalchemy' from 'cloud_service.db.sqlalchemy.api' _load_backend /usr/local/lib/python3.6/site-packages/oslo_db/api.py:261 ``` 对应的正则表达式是： ``` ^\d{1,4}-\d{1,2}-\d{1,2}\d{1,3}:\d{1,2}:\d{1,2}.\d{1,3}\d(?<level>[^\s]+)(?<class>[^\s]+)\[.](?<msg>[^\s].+) ``` 这个正则表达式主要用于提取以下信息： 1. 日期和时间：`\d{1,4}-\d{1,2}-\d{1,2}\d{1,3}:\d{1,2}:\d{1,2}.\d{1,3}\d`，如 `2021-07-08 06:50:32.4361`。 2. 日志级别：`(?<level>[^\s]+)`，如 `DEBUG`。 3. 类名：`(?<class>[^\s]+)`，如 `oslo_db.api`。 4. 消息：`(?<msg>[^\s].+)`，如 `Loading backend 'sqlalchemy' from 'cloud_service.db.sqlalchemy.api' _load_backend /usr/local/lib/python3.6/site-packages/oslo_db/api.py:261`。 ### 第二种形式：Python 的 access.log 形式 这种格式常见于 Web 服务器访问日志，如 Apache 或 Nginx。日志样例如下： ``` 10.244.0.0 - - [07/Jul/2021:02:30:56 +0000] "GET / HTTP/1.1" 405 187 ``` 对应的正则表达式是： ``` ^(?<host>[^]*)[^]*(?<user>[^]*)\[(?<time>[^\]]*)\]"(?<method>\S+)(?:+(?<path>(?:[^\"]|\\.)*)"(?:+\S*)?)?"(?<code>[^]*)(?<size>[^]*)(?:"(?<referer>(?:[^\"]|\\.)*)""(?<agent>(?:[^\"]|\\.)*)")?$ ``` 这个正则表达式用于提取以下信息： 1. IP 地址：`(?<host>[^]*)`，如 `10.244.0.0`。 2. 用户名：`(?<user>[^]*)`，在这个例子中是 `-` 表示匿名。 3. 时间戳：`(?<time>[^\]]*)`，如 `[07/Jul/2021:02:30:56 +0000]`。 4. HTTP 方法：`(?<method>\S+)`，如 `GET`。 5. 请求路径：`(?<path>(?:[^\"]|\\.)*)`，如 `/`。 6. HTTP 版本：`HTTP/\d.\d`，如 `HTTP/1.1`。 7. 状态码：`(?<code>[^]*)`，如 `405`。 8. 响应大小：`(?<size>[^]*)`，如 `187`。 9. 引用页面：`(?<referer>(?:[^\"]|\\.)*)`，在没有时为 `""`。 10. 用户代理：`(?<agent>(?:[^\"]|\\.)*)`，如浏览器信息。 ### 第三种形式：自定义形式 这种形式可能包含特定应用或框架产生的特殊日志，例如 Python 的 urllib3 模块发出的警告。日志样例如下： ``` [Wed Jul 07 07:10:24.917274 2021][wsgi:error][pid 8][remote 192.168.5.75:52770] /usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:1020: InsecureRequestWarning: Unverified HTTPS request is being made to host '172.20.140.242'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/advanced-usage.html#ssl-warnings ``` 对于这种自定义日志，需要根据其结构和内容定制正则表达式来提取关键信息，例如时间戳、错误类型、进程 ID、远程 IP 地址、文件路径和行号等。 在 Kubernetes 环境中，日志处理和分析可能涉及到多个组件，包括容器的日志收集器（如 Fluentd 或 Logstash）、日志聚合工具（如 Elasticsearch）以及可视化界面（如 Kibana）。正确配置这些工具以识别和解析各种格式的日志，有助于实现有效的日志管理和故障排查。