Prometheus 告警恢复规则

回答: Prometheus 告警恢复规则是指在告警触发后，当符合特定条件时，告警会被认为已经恢复。根据引用的解释，当 Prometheus 发送给 Alertmanager 的告警触发消息带有一个 endAt 时间时，如果在该时间之后没有再收到新的告警，就会认为告警已经恢复。如果 Prometheus 没有带 endAt，那么 Alertmanager 会根据 resolve_timeout 设置默认的恢复时间。此外，根据引用，除了 Prometheus 自身触发告警恢复外，Alertmanager 也可以发送告警恢复的触发命令。因此，Prometheus 告警恢复规则包括根据时间间隔和命令触发来判断告警是否已经恢复。

相关问题

Prometheus的告警机制

Prometheus是一个开源的监控系统，它提供了丰富的告警机制来帮助用户实时监控系统的状态并及时做出响应。Prometheus的告警机制主要包括以下几个方面：

1. 告警规则（Alerting Rules）：Prometheus通过定义告警规则来描述需要监控的指标和相应的告警条件。告警规则使用PromQL语言编写，可以根据指标的数值、时间范围等条件进行灵活的配置。

2. 告警触发器（Alertmanager）：Alertmanager是Prometheus的告警管理组件，负责接收来自Prometheus Server的告警通知，并根据预定义的配置进行处理。它可以对告警进行分组、去重、静默等操作，并将告警发送给指定的接收者，如邮件、Slack等。

3. 告警通知（Notification）：Prometheus支持将告警通知发送给多种不同的接收者。通过配置Alertmanager，可以将告警通知发送到邮件、Slack、PagerDuty等渠道，以便及时通知相关人员。

4. 告警持久化（Alert Persistence）：Prometheus可以将触发的告警持久化存储，以便后续查询和分析。通过配置存储适配器，可以将告警数据保存到本地文件系统、数据库等。

5. 告警状态管理（Alert State Management）：Prometheus会维护告警的状态信息，包括告警的触发时间、恢复时间等。通过Prometheus的Web界面或API，可以查看和管理告警的状态。

prometheus alarmmanager 里配置了告警邮件发送，但是当告警处理后，恢复的邮件不会发送

如果您已经在 Prometheus 的 Alertmanager 中配置了告警邮件发送，并且可以成功地收到告警邮件，那么在告警恢复时，可以通过设置 `resolved` 标记来触发告警恢复邮件的发送。

具体来说，当告警恢复时，Alertmanager 会发送一个 POST 请求到 `http://<alertmanager-host>:<alertmanager-port>/api/v1/alerts` 接口，并且在请求体中包含一个 JSON 格式的数据，其中包含了恢复的告警信息。在这个 JSON 数据中，您可以通过设置 `status` 字段为 `resolved` 来表示这是一条告警恢复信息。例如：

{
  "version": "4",
  "groupKey": "{...}",
  "status": "resolved",
  "receiver": "email",
  "alerts": [
    {
      "status": "resolved",
      "labels": {...},
      "annotations": {...},
      "startsAt": "2021-11-01T00:00:00Z",
      "endsAt": "2021-11-01T00:05:00Z",
      "generatorURL": "http://<prometheus-host>:<prometheus-port>/graph?g0.expr=..."
    }
  ]
}

您需要在 Alertmanager 的配置文件中添加一个恢复邮件的通知规则，以便在接收到这样的 POST 请求时触发邮件发送。具体来说，可以在 `route` 部分的 `routes` 字段中添加一个新的规则，使用 `match` 条件匹配 `status="resolved"`，然后指定一个新的 `receiver`，例如：

route:
  receiver: default-receiver
  routes:
  - match:
      status: resolved
    receiver: resolved-email

此外，您还需要在 `receivers` 部分中定义一个新的 `resolved-email` 接收器，并配置相应的邮件发送参数，例如：

receivers:
- name: resolved-email
  email_configs:
  - to: 'your-email@example.com'
    from: 'alertmanager@example.com'
    subject: 'Alertmanager Resolved: {{ .CommonAnnotations.summary }}'
    html: '{{ template "email.default.html" . }}'
  webhook_configs: []

在这个配置中，我们定义了一个名为 `resolved-email` 的接收器，它会发送邮件到指定的收件人。邮件的主题中包含了告警的摘要信息，邮件内容使用了 Alertmanager 提供的默认模板。

注意，为了使 `resolved-email` 接收器生效，您还需要在 `route` 部分的 `routes` 字段中配置相应的规则，指定 `receiver: resolved-email`。例如：

route:
  receiver: default-receiver
  routes:
  - match:
      status: resolved
    receiver: resolved-email

这样，当 Alertmanager 接收到告警恢复的 POST 请求时，就可以触发邮件的发送了。