跳到主要内容
基础知识

证书到期监控告警怎么做?OpenSSL 巡检到 Prometheus 告警的完整配置

证书到期监控告警 — 证书到期监控告警怎么做?OpenSSL 巡检到 Prometheus 告警的完整配置
核心结论

证书到期监控告警的最小可用组合是 blackbox_exporter 0.25 + Prometheus + Alertmanager,按 T-30/T-14/T-7 天三级阈值告警,单实例可覆盖 500+ 域名,软件成本 0 元、首次上线约 2-4 小时。 90 天证书建议设 30/14/7 天三档阈值,47 天证书(CA/Browser Forum SC-081 计划 2029-03-15 起生效)建议设 21/10/5 天,阈值一律以 notAfter 的 UTC 时间为基准。 核心指标是 probe_ssl_earliest_cert_expiry,告警表达式为 probe_ssl_earliest_cert_expiry - time() < 86400 * 21,单位是秒,不要写成天。 续期侧用 certbot 2.x 的 systemd timer 每日运行两次,并配 --deploy-hook 'systemctl reload nginx',每月执行 certbot renew --dry-run 校验退出码。 监控必须覆盖 SAN 全列表与中间证书链,只探测 443 端口会出现「源站正常、CDN 边缘节点证书未更新」的漏报。

为什么证书到期告警总在最后一刻才响?根因拆解

不是”忘了看”,而是告警的观测点和证书的真实生命周期脱节了。据 Let’s Encrypt 文档,其免费证书有效期 90 天、到期前 30 天即可续期,官方明确建议续期任务每天运行两次并加随机延迟——这等于官方已经承认”续期不是一次性动作,而是持续运行的后台服务”。而 CA/Browser Forum Ballot SC-081 把公共 TLS 证书最长有效期进一步压缩:2026-03-15 起 200 天、2027-03-15 起 100 天、2029-03-15 起 47 天。维护窗口从”一年一次”变成”一月一次”甚至”一周一次”,任何靠日历提醒或人工台账的做法在结构上就必然失效。

生效日期 公共 TLS 证书最长有效期 对监控的含义
当前(SC-081 之前) 398 天 年检一次尚可
2026-03-15 200 天 季度巡检
2027-03-15 100 天 月度巡检
2029-03-15 47 天 必须自动化,人工不可行

根因一:续期任务静默失败,没人被告知。certbot 失败时只往 /var/log/letsencrypt/letsencrypt.log 写一行 Failed authorization procedure,不会发任何通知。最常见的五类失败:cron 环境缺 PATH 导致找不到 nginx 插件(插件在 /snap/bin,cron 默认只有 /usr/bin:/bin);安全组关掉 80 端口导致 HTTP-01 挑战失败;DNS-01 的 API Token 过期返回 403;容器重建后 acme.sh 的 crontab 丢失;磁盘写满导致 /etc/letsencrypt 写入失败。可以用一条 dry-run 提前暴露问题(适用于 certbot 2.x/3.x,--dry-run 走 staging 环境,不消耗生产速率限制):

# 用 staging 环境完整演练一次续期,失败会直接打印原因
sudo certbot renew --dry-run --cert-name example.com
# 典型失败输出:
# Failed authorization procedure. example.com (http-01):
#   urn:ietf:params:acme:error:connection :: The server could not connect
#   to the client to verify the domain

# cron 中必须显式声明 PATH,并用 deploy-hook 保证续期后一定重载
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin
17 3,15 * * * certbot renew --deploy-hook "systemctl reload nginx" >> /var/log/certbot.log 2>&1

根因二:证书续了,但没部署到位。只在 A 节点 reload nginx,B 节点、CDN 回源、WAF、SLB 后端仍是旧证书;Kubernetes 里 Secret 更新了但 Ingress Controller 未热加载;Java 应用把证书打进 JKS 必须重启进程才生效。这类问题在监控上表现为”源站还有 60 天,边缘节点已过期”——所以证书到期监控告警必须按节点、按链路分别采集,而不是只探测一个域名。

根因三:监控口径错了。只采集 probe_success(端口存活)而不解析证书有效期;只看叶子证书不看中间证书链(2021-09-30 DST Root CA X3 根证书过期,就曾让大量未更新信任库的老客户端握手失败);openssl s_client 不加 -servername,SNI 多证书站点会拿到默认站点证书,于是误判为正常。正确的取数方式:

# -servername 必须显式指定,否则 SNI 站点返回的是默认证书,会误判
echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null 
  | openssl x509 -noout -subject -issuer -dates
# notAfter=Mar 15 12:00:00 2026 GMT   ← 告警应基于这个字段,而不是端口连通性

# 顺带验证证书链完整性(缺失中间证书时 s_client 会报 verify error 21)
echo | openssl s_client -connect example.com:443 -servername example.com -showcerts 2>/dev/null 
  | grep -c "BEGIN CERTIFICATE"

根因四:资产漏检。主域名监控了,www、api、static、m、管理后台没监控;泛域名 *.example.com 不覆盖 a.b.example.com;8443、9443 等非 443 端口与 mTLS 双向认证端口未纳入;云厂商托管的免费 DV 证书(如 ACM)在 CDN 绑定关系变更后不会自动同步到新域名。

为什么影响面这么大?客户端侧表现为 curl: (60) SSL certificate problem: certificate has expired、浏览器 NET::ERR_CERT_DATE_INVALID、iOS/Android SDK 握手失败,支付回调、小程序、API 网关链路会同时中断。一次线上换证的恢复时间通常在 30 分钟以上——这已经远超”告警提前 7 天”能覆盖的范围,证书到期监控告警的阈值必须按续期窗口(30 天)而不是按人类习惯(7 天)来设计。

落地六步:从资产台账到告警闭环

把“证书到期监控告警”真正实施完成,靠的不是一条 openssl 命令,而是六个能验收的交付物:一份台账、一套阈值、一个采集器、一段抓取配置、一条路由规则、一个续期钩子。任何一步没有可检查的产出,最后都会退化成“某天早上发现站点红了”。下面按落地顺序拆解。

第一步 · 资产盘点(约 0.5 人日):配置侧和域名侧要分别清点。 只扫描域名会漏掉内网服务,只读取配置文件会漏掉挂在 CDN 或 LB 上的证书,所以两边都要做,最后合并去重。配置侧从 nginx 提取:

# -h 不打印文件名,-E 用扩展正则,s 兼容 "ssl_certificate    /path"
grep -rhE "ssl_certificates" /etc/nginx/conf.d /etc/nginx/sites-enabled 
  | awk '{print $2}' | tr -d ';' | sort -u > /tmp/cert_files.txt

# 域名侧:显式带 -servername 触发 SNI,否则多域名共用 IP 时会拿到默认证书
while read -r d; do
  end=$(echo | openssl s_client -connect "${d}:443" -servername "$d" 2>/dev/null 
        | openssl x509 -noout -enddate | cut -d= -f2)
  printf '%s,%sn' "$d" "$(date -u -d "$end" +%s)"   # -u 必须加,见第二步
done  /tmp/cert_ledger.csv

如果 openssl s_client 打印出 Verify return code: 10 (certificate has expired),说明链上已有证书过期,这条必须优先入台账。CSV 字段至少包括:域名、端口、是否 SNI、签发 CA、notAfter(UTC)、部署位置(源站/CDN/LB)、负责人、续期方式。验收标准很明确:台账行数必须等于 Prometheus 中该 job 的 target 数;两者对不上,就是还有资产没有纳入监控。

第二步 · 阈值分级:所有比较都换算成 Unix 时间戳。 据 RFC 5280 §4.1.2.5,证书的 notAfter 一律用 UTC(UTCTime/GeneralizedTime 带 Z)表示;而东八区服务器上的 date -d 不带 -u 会按本地时区解析,8 小时偏差足以让 T-30 的告警提前或延后触发。分级建议如下:

证书类型 warning critical 电话/值班 设计理由
ACME 90 天(Let’s Encrypt 默认) T-30 天 T-14 天 T-7 天 据 Let’s Encrypt 文档,建议在剩余 30 天内完成续期
47 天(CA/Browser Forum SC-081 时间表) T-21 天 T-10 天 T-5 天 预留至少两轮自动续期失败的重试窗口
内部自签 CA T-60 天 T-30 天 T-14 天 无 ACME 自动化,需人工排期重签

第三步 · 选采集器:按证书所在位置选择,不要用一个工具强行覆盖全部场景。

场景 采集器与版本 关键指标 局限
外部黑盒探测 blackbox_exporter 0.25.0 probe_ssl_earliest_cert_expiry(整条链最早到期时间戳)、probe_ssl_last_chain_expiry_timestamp_seconds 只能看到公网可达的端点
主机上的证书文件 x509_exporter,或 shell + node_exporter textfile collector 自定义 cert_file_expiry_timestamp_seconds 需要自己维护路径清单
Kubernetes Ingress cert-manager 1.15 内置 certmanager_certificate_expiration_timestamp_seconds 仅覆盖 cert-manager 签发的 Certificate 资源

文件侧的最小实现(原子替换可以避免 node_exporter 读到不完整的文件):

#!/usr/bin/env bash
# /usr/local/bin/cert_metrics.sh,由 cron 每小时执行
out=/var/lib/node_exporter/textfile/certs.prom; tmp=$(mktemp)
while IFS=, read -r domain file; do
  ts=$(date -u -d "$(openssl x509 -in "$file" -noout -enddate | cut -d= -f2)" +%s)
  echo "cert_file_expiry_timestamp_seconds{domain="$domain"} $ts" >> "$tmp"
done < /etc/cert_ledger.csv
mv "$tmp" "$out"

第四步 · 部署与接入。 blackbox_exporter 默认监听 9115 端口,http prober 需要关闭信任链校验,否则中间证书缺失会直接导致 probe 失败,而不是报告“快到期”:

# /etc/blackbox_exporter/blackbox.yml
modules:
  https_cert:
    prober: http
    timeout: 10s
    http:
      preferred_ip_protocol: ip4
      tls_config:
        insecure_skip_verify: true   # 只关心到期时间,不判断链是否可信

# 启动(0.25.0)
/usr/local/bin/blackbox_exporter 
  --config.file=/etc/blackbox_exporter/blackbox.yml 
  --web.listen-address=:9115
# prometheus.yml(Prometheus 2.53)
scrape_configs:
  - job_name: blackbox-cert
    metrics_path: /probe
    scrape_interval: 60s
    params: {module: [https_cert]}
    static_configs:
      - targets: ['www.example.com:443', 'api.example.com:443']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target      # 目标塞进 ?target=
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 127.0.0.1:9115       # 真正抓的是 exporter 自己

# 告警规则(注意 expr 中的 < 在 YAML 里要转义为 <)
groups:
  - name: cert
    rules:
      - alert: CertExpiryCritical
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
        labels: {severity: critical}

单实例抓取 500 个 target、间隔 60s 时,CPU 占用通常低于 5%,瓶颈在网络超时而非解析。

第五步 · 告警路由:让 critical 走电话或 PagerDuty,warning 走企业微信、飞书或钉钉。 Alertmanager 0.27 起 match/match_re 已弃用,必须改用 matchers:

# alertmanager.yml(Alertmanager 0.27)
route:
  receiver: default
  group_by: [alertname, instance]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h            # 默认值,避免同一张证书一天刷 24 条
  routes:
    - matchers: ['severity="critical"']
      receiver: pagerduty
      repeat_interval: 1h        # critical 单独加密提醒频率

第六步 · 续期闭环:告警只是保底手段,续期成功才是目标。 certbot 2.x 的 certbot.timer 默认 OnCalendar=*-*-* 00/12:00:00 并配 RandomizedDelaySec=43200,用 systemctl list-timers certbot.timer 可核对;续期成功后通过 --deploy-hook 重载服务并回写 CMDB:

certbot renew --deploy-hook '/usr/local/bin/post-renew.sh'
# post-renew.sh 内两行核心动作:
systemctl reload nginx
openssl x509 -in "$RENEWED_LINEAGE/cert.pem" -noout -enddate   # 取新 notAfter 回写台账

# /etc/cron.d/certbot-dryrun —— 每月 1 日演练,非 0 退出码直接进告警通道
0 3 1 * * root certbot renew --dry-run --quiet || /usr/local/bin/alert.sh "certbot dry-run failed"

演练失败最常见的输出是 urn:ietf:params:acme:error:unauthorized :: Invalid response from http://example.com/.well-known/acme-challenge/...: 404,几乎都指向 Web 根目录映射或 80 端口被拦截;只有实际运行演练,才能提前发现这类问题,而不是等到 T-7 电话响起时才发现。

关键配置与命令示例(OpenSSL 3.0 / blackbox_exporter 0.25 / Alertmanager 0.27)

先用一条命令确认某张证书到底还剩几天?可以。OpenSSL 3.0.13 起,s_client 与 x509 串联,一次就能拿到签发者、notBefore/notAfter 与 SAN 列表(notAfter 的语义见 RFC 5280 §4.1.2.5):

# -servername 必须显式给出,否则多域名站点可能返回默认虚拟主机的证书
echo | openssl s_client -connect sslgood.com:443 -servername sslgood.com -showcerts 2>/dev/null 
  | openssl x509 -noout -subject -issuer -dates -ext subjectAltName
# 输出示例:
# subject=CN = sslgood.com
# issuer=C = US, O = Let's Encrypt, CN = R11
# notBefore=Jun  1 00:00:00 2025 GMT
# notAfter=Aug 30 23:59:59 2025 GMT
# X509v3 Subject Alternative Name:
#     DNS:sslgood.com, DNS:www.sslgood.com

脚本里怎么判断”是否即将过期”?用 -checkend,单位是秒(2592000 = 30 天),退出码 0 表示仍有效、1 表示将在该窗口内过期或已过期,可直接作为 if 条件:

# </dev/null 防止 s_client 等待 stdin;退出码即判断结果
if ! openssl s_client -connect sslgood.com:443 -servername sslgood.com 
     -checkend 2592000 /dev/null 2>&1; then
  echo "证书将在 30 天内过期"   # 退出码 1
fi

blackbox_exporter 0.25 的模块怎么写?关键在 tls_config.insecure_skip_verify:该字段默认 false。只关心到期时间时设为 true;若要同时校验证书链,必须保持 false 并用 ca_file 指定私有根证书,否则自签或私有 CA 站点会长期 probe_success 0,日志里出现 Go 的典型报错 x509: certificate signed by unknown authority。

# blackbox.yml
modules:
  https_cert:
    prober: http
    timeout: 10s
    http:
      preferred_ip_protocol: ip4   # 默认 ip6,双栈环境易踩坑
      follow_redirects: true
      tls_config:
        insecure_skip_verify: true # 仅测到期时间时用;校验证书链请改 false + ca_file

Prometheus 2.53 用三条 relabel 把真实目标塞进 __param_target、把探针地址固定为 exporter:

# prometheus.yml
- job_name: 'ssl-cert'
  metrics_path: /probe
  params:
    module: [https_cert]
  static_configs:
    - targets: ['sslgood.com:443', 'www.sslgood.com:443', 'api.sslgood.com:8443']
  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - source_labels: [__param_target]
      target_label: instance          # 告警里 {{ $labels.instance }} 才可读
    - target_label: __address__
      replacement: 127.0.0.1:9115     # exporter 实际地址

告警规则放 /etc/prometheus/rules/ssl.yml,用 probe_ssl_earliest_cert_expiry(Unix 时间戳秒)与 time() 相减,humanizeDuration 接受秒数、渲染为 21d 4h 这类可读文本:

groups:
  - name: ssl
    rules:
      - alert: SSLCertExpiringSoon
        expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 21
        for: 10m                       # 抑制抓取抖动造成的瞬时误报
        labels: { severity: warning }
        annotations:
          summary: "{{ $labels.instance }} 证书 {{ $value | humanizeDuration }} 后过期"
      - alert: SSLCertExpired
        expr: probe_ssl_earliest_cert_expiry - time() < 0
        labels: { severity: critical }

Alertmanager 0.27 侧按 severity 分流到不同 receiver,group_wait 默认 30s、group_interval 5m、repeat_interval 4h,证书类告警通常把 repeat 调到 12h 以上以免噪声。

采集方式 依赖 是否校验证书链 适用场景
OpenSSL 手工/脚本 openssl 3.0+ 可选(-verify_return_error) 临时排查、CI 冒烟
blackbox_exporter 0.25 Prometheus 可配 ca_file 外部黑盒多目标批量巡检
Zabbix 7.0 Zabbix Server/Proxy 是 已有 Zabbix 体系、免额外组件
cert-manager 1.15 Kubernetes 是(K8s Secret) 集群内证书自动签发与续期

续期成功了但服务没重载,监控照样报警怎么办?把重载逻辑写进 certbot deploy hook,并用 timer override 覆盖默认随机时刻(certbot 2.11 + systemd 252):

# /etc/systemd/system/certbot.timer.d/override.conf
[Timer]
OnCalendar=                 # 先清空继承值,再追加
OnCalendar=*-*-* 00,12:17:00
RandomizedDelaySec=3600

# /etc/letsencrypt/renewal-hooks/deploy/reload.sh (chmod +x)
#!/bin/sh
systemctl reload nginx
curl -s -X POST https://cmdb.internal/api/cert/sync -d "domain=$RENEWED_DOMAINS"

注意:据 Let’s Encrypt 文档,certbot renew --dry-run 默认不执行 deploy hook,2.x 需加 --run-deploy-hooks 才能验证钩子本身,否则演练通过≠钩子可用。Zabbix 7.0 的原生监控项 web.certificate.get[sslgood.com,443] 直接返回剩余天数(整数),触发器 last(/TLS/web.certificate.get[sslgood.com,443])<14、恢复表达式 >21,用滞回区间避免阈值抖动,1h 轮询足够;cert-manager 1.15 侧用 certmanager_certificate_expiration_timestamp_seconds - time() < 86400*21,RenewBefore 默认取证书时长的 2/3(90 天证书约提前 30 天续期),排查用 cmctl status certificate api-tls -n prod。

方案选型对比:六种证书到期监控方式怎么选

先给结论再展开:如果你已经在用 Prometheus,证书到期监控告警优先选 blackbox_exporter——它的指标可以直接复用现有 Alertmanager 的路由、静默和抑制规则,不必再维护第二套告警平台。下表按 2025 年各项目社区版本与公开报价整理,供横向比较:

方案 采集方式 覆盖能力 部署成本 适用规模 费用区间
blackbox_exporter 0.25 + Prometheus 外部 HTTP 探测 域名、端口、证书链,指标秒级 1 个容器 + 3 行配置 50–5000 域名 开源 0 元
Zabbix 7.0 web.certificate.get 主动/被动检查 剩余天数整数 已有 Zabbix 即零新增 100–2000 主机 开源 0 元
check_ssl_cert 2.x(Nagios/Icinga) 插件脚本 有效期、链、协议 单文件脚本 50–500 域名 开源 0 元
certbot timer + shell + textfile 本地文件解析 仅本机证书文件 20 行脚本 单机 10–100 张 开源 0 元
cert-manager 1.15 K8s 内置指标 Ingress/Gateway 证书 集群内组件 云原生集群 开源 0 元
商业拨测/SaaS 全球节点探测 多地域、多运营商视角 控制台配置 跨地域业务 约 30–200 元/域名/月

已有 Prometheus 生态,为什么首选 blackbox_exporter?因为告警通路只有一条。blackbox_exporter 0.25 的 probe_ssl_earliest_cert_expiry 返回的是 Unix 时间戳(秒),减去 time() 再除 86400 就是剩余天数,可与业务 SLO 告警共用同一套抑制规则。配置如下(timeout 默认 10s,建议按探测频率收紧):

# blackbox.yml —— blackbox_exporter 0.25.x
modules:
  https_cert:
    prober: http
    timeout: 5s                 # 默认 10s;需小于 Prometheus 的 scrape_timeout
    http:
      preferred_ip_protocol: ip4
      tls_config:
        insecure_skip_verify: true   # 只看有效期时跳过链校验;要校验链则设为 false
# prometheus rules —— 剩余不足 21 天告警
groups:
- name: tls-expiry
  rules:
  - alert: SSLCertExpiringSoon
    expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 21
    for: 1h
    labels:
      severity: warning
    annotations:
      summary: "{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天"

探测失败时 probe_success 会变成 0,日志里通常能看到真实报错,例如 level=error msg="Error processing request" err="x509: certificate has expired or is not yet valid: current time 2025-06-01T02:11:04Z is after 2025-05-31T23:59:59Z"——出现这条说明证书确已过期,而不是网络问题。注意 blackbox_exporter 只做「探测」,不负责续期,必须与 certbot 或 cert-manager 配合。

以主机为中心、已上 Zabbix 6.0/7.0 的团队怎么办?用内置键值更省事,无需额外组件,模板可直接关联主机:

# Zabbix 7.0 监控项键值(port 默认 443,返回 {"value": 剩余天数})
web.certificate.get[example.com,443]
# 触发器表达式
last(/Web-Server/web.certificate.get[example.com,443])<21

缺点粒度只到「天」,且每个域名要手工建一个监控项,超过 200 个域名后维护成本明显上升。单机场景则可以最轻量地用 20 行脚本把证书时间戳写进 node_exporter 的 textfile 目录(启动参数 --collector.textfile.directory=/var/lib/node_exporter/textfile):

#!/bin/bash
# /usr/local/bin/cert_expiry.sh —— 每日 03:00 由 systemd timer 触发
OUT=/var/lib/node_exporter/textfile/cert_expiry.prom
: > "$OUT.tmp"
while read -r cert; do
  end=$(openssl x509 -in "$cert" -noout -enddate | cut -d= -f2)
  ts=$(date -d "$end" +%s)          # macOS 改用 date -j -f "%b %d %T %Y %Z" "$end" +%s
  echo "cert_expiry_timestamp_seconds{path="$cert"} $ts" >> "$OUT.tmp"
done < <(find /etc/letsencrypt/live -name fullchain.pem -type l)
mv "$OUT.tmp" "$OUT"                # 原子替换,避免 node_exporter 读到半个文件

只选一种够不够?不够,建议双通道:外部拨测(blackbox 或商业 SaaS)负责「用户视角」,内部文件解析负责「源站视角」,两边都告警才算真故障。只做其中一路,会分别漏掉 CDN 边缘未更新和源站未部署两类问题——这也是多数证书到期监控告警事故的根因。据 Let’s Encrypt 文档,其证书有效期 90 天、官方建议在到期前 30 天续期,因此 21 天阈值对 Let’s Encrypt 偏紧,可对 CA 类型做差异化:

# 按签发者区分阈值(probe_ssl_last_chain_info 自 0.24 起提供 issuer 标签)
(probe_ssl_earliest_cert_expiry{issuer=~".*Let's Encrypt.*"} - time()) / 86400 < 14
(probe_ssl_earliest_cert_expiry - time()) / 86400 < 30

成本要算人日,不只是软件费。开源方案软件 0 元,但首次部署约 2–4 小时、每月台账核对约 0.5 人日;商业 SaaS 省掉运维却按域名计费,100 个域名一年约 3.6 万–24 万元。多数中小站点用开源方案即可覆盖,把预算留给真正需要多地域视角的业务。

常见错误与排查:这些报错分别代表什么

看到 curl: (60) SSL certificate problem: certificate has expired,先别急着重签证书——到底是谁的证书过期了?

这条报错只说明「你握手到的那个端点证书过期」,不代表源站过期。典型场景是 CDN 边缘还挂着旧证书。按节点逐个直连,强制带 SNI,才能区分边缘与源站:

# 对 CDN 每个边缘 IP 和源站 IP 分别验证,-servername 必带
for ip in 203.0.113.10 203.0.113.11 198.51.100.7; do
  echo "== $ip =="
  echo | openssl s_client -connect "$ip:443" -servername www.example.com 2>/dev/null 
    | openssl x509 -noout -subject -issuer -dates
done
# notAfter 已过期 → 该节点证书未更新;全部正常 → 检查本地 CA 包与系统时间

据 Let’s Encrypt 文档与主流 CDN 厂商说明,控制台上传新证书后通常需 5–30 分钟下发到全部边缘节点,这段时间会出现「控制台显示已更新、实际仍返回旧证书」的窗口期,监控告警会持续抖动,属预期行为,不要在这期间反复重传。

blackbox_exporter 报 err="x509: certificate signed by unknown authority" 是什么原因?

九成是中间证书缺失。用 -showcerts 数一下链上返回几张证书,只返回 1 张即确诊:

echo | openssl s_client -connect www.example.com:443 -servername www.example.com -showcerts 2>/dev/null 
  | grep -c 'BEGIN CERTIFICATE'
# 期望 >= 2(叶子证书 + 至少一张中间证书);输出 1 = 缺中间证书

修复点在 Nginx:ssl_certificate 必须指向 fullchain.pem,只配 cert.pem 时浏览器能靠 AIA 补链,但 Go、Java、Python 的严格校验会直接失败。

server {
    listen 443 ssl;
    # fullchain.pem = 叶子 + 中间证书;cert.pem 仅叶子,Go/Java 客户端会校验失败
    ssl_certificate     /etc/letsencrypt/live/example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
}

报 x509: certificate is valid for *.example.com, not a.b.example.com,泛域名不是应该全覆盖吗?

不是。按 RFC 6125 第 6.4.3 节,通配符只匹配最左侧一个标签,*.example.com 覆盖 a.example.com,不覆盖 a.b.example.com。要么为该二级子域单独签发,要么改用多 SAN 证书。签发前先核对 SAN 是否覆盖全部业务域名:

openssl x509 -noout -ext subjectAltName -in cert.pem
# X509v3 Subject Alternative Name:
#     DNS:example.com, DNS:*.example.com, DNS:a.b.example.com

Zabbix 报 SSL certificate check failed: cannot connect to [[sslgood.com]:443],网站明明能打开?

先分清是网络不通还是 SNI 未带。在监控机(或 proxy 所在网段)上执行:

dig +short sslgood.com                       # 解析是否正常,排除 DNS
timeout 10 openssl s_client -connect sslgood.com:443 -servername sslgood.com </dev/null
# 卡住无输出 → 出站 443 被防火墙拦截;返回证书但域名不符 → 未带 SNI

Zabbix 的 ssl_check 监控项默认超时 3s(Timeout 参数,可调范围 1–30s),跨境链路建议调到 10s;若监控服务器出站受限,把监控项切到 proxy 所在网段执行。

为什么 openssl 手工查是好的,脚本却报域名不符?

同一 IP 上部署多张证书时,不带 -servername 只能拿到默认站点证书,必然误判。核查脚本里必须显式加 -servername <域名>。curl 从 7.29 起默认发送 SNI,老版本需用 --resolve 指定解析:

curl -sS --resolve www.example.com:443:203.0.113.10 https://www.example.com -o /dev/null -w '%{ssl_verify_result}n'

另一个隐蔽坑是时间偏移:probe_ssl_earliest_cert_expiry - time() 直接依赖本机时钟,偏移超过 5 分钟时短阈值(如剩余 1 小时)会算错,容器从休眠恢复后尤甚。

chronyc tracking | grep -E 'System time|Leap status'
# System time : 0.000312 seconds fast of NTP time   ← 绝对值 > 300 秒即需校时

告警发出去了却收不到:Error on notify: notify retry canceled after 10 attempts 或钉钉 errcode 130101?

多为机器人限流(钉钉自定义机器人约 20 条/分钟)。证书到期监控告警常因 repeat_interval 过短而刷屏:

route:
  group_by: [alertname, instance, severity]  # 按维度聚合,避免每域名一条
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h   # 默认 4h;设为 1h 且告警量大时会打满限流
  receiver: dingtalk

webhook 侧再加 200ms 指数退避重试,并在 Prometheus 规则里用 for: 10m 抑制瞬时抖动。

报错关键字 根因 一条验证命令 修复动作
curl: (60) certificate has expired CDN 边缘未同步 / 源站过期 openssl s_client -connect IP:443 -servername 域名 逐节点定位,等 5–30 分钟下发窗口
x509: certificate signed by unknown authority 缺中间证书 s_client -showcerts | grep -c BEGIN Nginx 改指 fullchain.pem
valid for *.example.com, not a.b.example.com 通配符仅匹配一级(RFC 6125) openssl x509 -noout -ext subjectAltName 单独签发或加多 SAN
cannot connect to [[host]:443] 出站 443 被拦 / 未带 SNI dig +short + timeout 10 openssl 切 proxy 网段,Timeout 3s→10s
notify retry canceled after 10 attempts 机器人限流 看 Alertmanager 日志计数 group_by 聚合,repeat_interval 4h

告警规则写完不等于链路通了。证书到期监控告警最常见的失效方式不是规则没写,而是写了却从没被真正触发过一次——等真到期那天才发现 webhook 地址拼错、Silence 忘了删、或者阈值单位写成了“21 秒”。下面按“指标 → 语法 → 注入 → 端到端 → 续期 → 台账”六步做一次可复现的验证。

第一步:先核对指标口径,确认数值本身可信。blackbox_exporter 的 https_cert 模块返回的 probe_ssl_earliest_cert_expiry 是 Unix 秒级时间戳(取证书链中最早到期的一张),必须和 OpenSSL 的 notAfter 对得上,误差应小于 1 秒。

# 1) 抓取探针输出:probe_success 必须为 1,否则是探测失败而非证书问题
curl -s 'http://127.0.0.1:9115/probe?target=sslgood.com:443&module=https_cert' 
  | grep -E 'probe_ssl_earliest_cert_expiry|probe_success'
# probe_ssl_earliest_cert_expiry 1.797064447e+09
# probe_success 1

# 2) 用 openssl 取同一张证书的 notAfter,并换算成同口径时间戳
echo | openssl s_client -servername sslgood.com -connect sslgood.com:443 2>/dev/null 
  | openssl x509 -noout -enddate
# notAfter=Aug 12 03:14:07 2026 GMT
date -d 'Aug 12 03:14:07 2026 GMT' +%s
# 1797064447

两个数相减若大于 1,通常是探针走了不同的解析路径(CDN 节点、SNI 未带导致拿到默认证书),先修这个再谈告警。probe_success 0 时 Prometheus 里该 target 的所有证书指标都会消失,absent() 类规则才会兜住这种情况——这也是为什么规则里要同时写 probe_success == 0 的告警。

第二步:语法与配置校验,拦住“单位写错”这类低级错误。

# 规则文件语法 + 表达式合法性(Prometheus 2.x 自带 promtool)
promtool check rules /etc/prometheus/rules/ssl.yml
# SUCCESS: 4 rules found

# Alertmanager 配置与路由模板校验
amtool check-config /etc/alertmanager/alertmanager.yml
# SUCCESS

最容易翻车的一行:把 probe_ssl_earliest_cert_expiry - time() < 86400 * 21 写成 < 21。后者含义是“21 秒内到期”,结果是所有证书全量误报,团队很快学会忽略告警——比没有告警更糟。据 Prometheus 官方文档,比较运算两侧单位完全由你决定,工具不会替你校验语义。

第三步:告警注入,验证通知通道真的通。把阈值临时放大到一年,让任意有效证书都命中,然后热加载(需 Prometheus 启动时带 --web.enable-lifecycle,否则返回 Lifecycle API is not enabled.):

sed -i 's/86400 * 21/86400 * 365/' /etc/prometheus/rules/ssl.yml
curl -X POST http://localhost:9090/-/reload      # 需 --web.enable-lifecycle
# 5 分钟内确认企业微信/飞书机器人收到消息
# 再在 Alertmanager UI (http://alertmanager:9093) 点 Silence,观察告警从 Active 消失
# 验证完立即改回原阈值并再次 reload

第四步:端到端演练。用一张 1 天期自签证书挂到测试 Nginx 的 8443 端口,验证 T-1 天能触发 critical 并走到电话通道,演练后务必从 targets 里删除,避免污染台账:

openssl req -x509 -newkey rsa:2048 -keyout k.pem -out c.pem -days 1 -nodes 
  -subj "/CN=test.sslgood.com"

第五步:续期链路。据 Let’s Encrypt 文档,certbot renew --dry-run 用 staging 环境完整模拟一次续期,成功输出 Congratulations, all simulated renewals succeeded;再用 systemctl list-timers certbot.timer 确认 NEXT/LAST 符合预期,并检查 /var/log/letsencrypt/letsencrypt.log 中无 Failed authorization procedure(通常是 80 端口被占用或 DNS-01 的 TXT 未生效)。

第六步:台账一致性。每月跑一次,差异大于 0 就说明有新域名上线未纳入监控:

curl -s 'http://prometheus:9090/api/v1/targets?state=active' 
  | jq '.data.activeTargets | length'   # 与 CMDB 登记的域名数比对
检查项 命令 通过标准 失败典型表现
指标口径 curl /probe + openssl x509 时间戳差 < 1s,probe_success=1 probe_success 0(DNS/超时/SNI)
规则语法 promtool check rules SUCCESS: N rules found parse error / 单位写成秒
通知通道 阈值放大 + /-/reload 5 分钟内收到消息 webhook 404、Silence 未清
续期 certbot renew –dry-run all simulated renewals succeeded Failed authorization procedure

问:为什么证书到期告警总被当成“狼来了”?因为多数团队把 T-30 天和 T-1 天塞进同一条 route、同一个 receiver,结果 warning 天天响、critical 没人接。据 Prometheus Alertmanager 官方文档,repeat_interval 默认 4h、group_wait 默认 30s、group_interval 默认 5m——默认值本身没错,错在没按严重程度拆分通道,也没写抑制规则。

三级阈值怎么映射到通道?核心原则是“阈值递进 = 升级”,而不是同一张证书反复推送。Alertmanager 原生没有 escalation 链,所以升级必须靠不同阈值生成不同 alertname,再由 route 分流:

级别 触发阈值 通知通道 repeat_interval 动作要求
warning T-30 / T-21 天 IM 群(webhook) 4h(默认) 排入本周换证计划
critical T-14 / T-10 天 值班手机(短信/推送) 1h 当班内完成续签
fatal T-7 / T-5 天 电话外呼 + 上级抄送 15m 拉群、走变更加急
# alertmanager.yml —— 适用 Alertmanager 0.25+(matchers 语法取代旧 match/match_re)
route:
  receiver: 'im-webhook'            # 默认:IM 群
  group_by: [alertname, instance, severity]
  group_wait: 30s                   # 默认值,批量换证时先攒一波再发
  group_interval: 5m                # 默认值
  repeat_interval: 4h               # 默认值
  routes:
    - matchers: ['severity="critical"']
      receiver: 'oncall-phone'
      repeat_interval: 1h           # critical 单独加速,不走默认 4h
    - matchers: ['severity="fatal"']
      receiver: 'pager-call'
      repeat_interval: 15m
inhibit_rules:
  # 1) 已过期就别再报“即将过期”,同一 instance 只留一条
  - source_matchers: ['alertname="SSLCertExpired"']
    target_matchers: ['alertname=~"SSLCertExpiringSoon.*"']
    equal: [instance]
  # 2) 探针失败时 probe_ssl_earliest_cert_expiry 为 0/NaN,
  #    此时到期类告警全是假信号,必须抑制
  - source_matchers: ['alertname="ProbeFailure"', 'probe_success="0"']
    target_matchers: ['alertname=~"SSLCert.*"']
    equal: [instance]

聚合参数不是玄学:批量换证一次可能触发上百条告警,按 group_by: [alertname, instance, severity] 折叠后通常只剩 3-5 条,group_wait: 30s 让同一批 target 的告警挤进同一条通知,group_interval: 5m 控制后续补充发送节奏。

计划内换证先静默,换完立刻 expire。用 --duration 设个安全上限,但绝不等它自然过期——否则真故障会被静默掩盖:

# 换证前:只静默单个实例,避免误伤同域名其他端口
amtool silence add alertname=~"SSLCert.*" instance="sslgood.com:443" 
  --duration=2h --comment="更换通配符证书" 
  --alertmanager.url=http://alertmanager.mon:9093

# 换证后:立即结束静默(用上一步返回的 SilenceID),而不是等 2h 自然到期
amtool silence expire 8f3c1a2e-9b7d-4c11-8a55-0e2f6d9c1b44 
  --alertmanager.url=http://alertmanager.mon:9093

怎么让群里能直接 @ 到人?在抓取配置里打 owner 标签,告警模板用 {{ $labels.owner }} 渲染。缺少 owner 的 target 视为台账不合格,纳入月度巡检项:

scrape_configs:
  - job_name: blackbox-https
    metrics_path: /probe
    params: { module: [https_2xx] }   # blackbox_exporter 0.24+ 的 https_2xx 模块
    static_configs:
      - targets: ['sslgood.com:443']
        labels: { team: sre, owner: zhangsan }   # 缺失即不合格
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance

最后别只盯 TLS 证书。据 Let’s Encrypt 文档,其证书有效期 90 天、建议在剩余 30 天前续签;而 ISRG Root X1 根证书 notAfter 为 2035-06-04,域名注册和 DNS 托管又各按年付到期。四类到期一旦失守,用户侧表现都是“网站打不开”,混在一起排查会浪费大量时间——建议合并成一张「到期日历」,每月第一个工作日 review:

到期对象 典型周期 监控手段 失效表现
站点 TLS 证书 90 天(Let’s Encrypt) probe_ssl_earliest_cert_expiry ERR_CERT_DATE_INVALID
域名注册 1 年 RDAP/whois 查询 域名被抢注、解析停摆
DNS 解析托管 年付 注册商控制台 + 解析巡检 全站无法解析
CA 根证书 10-20 年 CA 官方公告 老客户端校验失败

只监控证书到期日,够不够?不够。到期监控只能回答”证书还在不在有效期内”,回答不了”这次握手本身是否安全”。同一个 Prometheus 探针进程里顺手把 TLS 健康度一起巡检,成本几乎为零,却能提前发现降级到 TLS 1.0、OCSP stapling 静默失效、证书链多挂一张这类不会触发到期告警的问题。

怎么快速确认服务端只开了 TLS 1.2/1.3、没留 3DES/RC4?两种工具各有分工,按下表选:

工具 适用场景 典型耗时 关键输出
nmap –script ssl-enum-ciphers 人工排查,输出按协议分组的套件清单 5–20 秒 每个套件后跟 strength 评级 A–F
testssl.sh 3.2 放进 CI / 定时任务,有退出码 30–90 秒 –severity HIGH 时发现问题即非 0 退出
openssl s_client 验证单个协议版本是否可协商 <1 秒 握手失败时的 alert 报文
# nmap 7.94,ssl-enum-ciphers 随 nmap 分发,无需额外安装
nmap --script ssl-enum-ciphers -p 443 sslgood.com

# testssl.sh 3.2:只报 HIGH 及以上问题,适合接 CI
./testssl.sh --quiet --severity HIGH --protocols --fs sslgood.com:443
echo "退出码 $?"   # 非 0 说明存在高危项

# 单独验证 TLS 1.1 是否已被拒绝(RFC 8996 已于 2021-03 正式弃用 TLS 1.0/1.1)
openssl s_client -connect sslgood.com:443 -servername sslgood.com -tls1_1 </dev/null
# 期望:alert protocol version / no protocols available

目标基线对齐 Mozilla 的 intermediate 配置:仅 TLS 1.2 + TLS 1.3,禁用 3DES、RC4、CBC 优先套件。据 Mozilla Server Side TLS 指南,intermediate 是”兼容主流客户端且无已知弱点”的推荐档位。

OCSP Stapling 怎么确认真的生效?很多 Nginx 站点写了 ssl_stapling on 却忘了配 resolver,结果 stapling 静默不生效、日志里也不报错——这是最典型的”看起来配了其实没配”。

# 检查服务端是否在握手中附带 OCSP 响应
openssl s_client -connect sslgood.com:443 -status -servername sslgood.com </dev/null 2>/dev/null 
  | grep -A3 "OCSP Response"
# 正常输出应包含:
#   OCSP Response Status: successful (0x0)
#   Response verify OK
# 若只有 "OCSP response: no response sent",说明 stapling 未生效
# Nginx 中让 stapling 真正生效的最小配置(1.3.x 通用)
ssl_stapling on;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/nginx/chain.pem;   # 必须含完整中间链
resolver 8.8.8.8 1.1.1.1 valid=300s;            # 缺这一行 stapling 静默失效
resolver_timeout 5s;

证书链完整性怎么验?本地验一遍、线上数一遍:

# 本地验证:leaf + 中间链能否被系统根证书验通
openssl verify -CAfile /etc/ssl/certs/ca-certificates.crt 
  -untrusted chain.pem leaf.pem
# 期望输出:leaf.pem: OK
# 常见失败:unable to get local issuer certificate(缺中间证书)
#           unable to verify the first certificate(顺序错/链不全)

# 线上确认服务端实际下发了几张证书
openssl s_client -showcerts -connect sslgood.com:443 -servername sslgood.com </dev/null 2>/dev/null 
  | grep -c "BEGIN CERTIFICATE"

返回 2–3 张属于健康区间;4 张以上会明显增加握手字节数(每张约 1–1.5 KB),移动端弱网下会拖慢首包,建议用 ssl_trusted_certificate 挂全链、ssl_certificate 只挂 leaf+必要中间证书的方式裁剪。

怎么发现”别的 CA 偷偷给我签了证书”?两件事:限制谁能签、监控谁签过。据 RFC 8659(CAA),CAA 记录可约束允许签发的 CA:

dig +short CAA sslgood.com
# 期望:0 issue "letsencrypt.org"
#      0 iodef "mailto:security@sslgood.com"

# 订阅 CT 日志,比对新增条目(建议每月一次)
curl -s 'https://crt.sh/?q=%25.sslgood.com&output=json' 
  | jq -r '.[].name_value' | sort -u

把这条 curl 的输出做 diff,是发现未授权签发最便宜的手段。

HSTS 要不要一上来就设一年?不要。先短后长:

curl -sI https://sslgood.com | grep -i strict-transport-security
# 推荐最终形态:Strict-Transport-Security: max-age=31536000; includeSubDomains

首次上线先设 max-age=300 观察一周,确认所有子域都能走 HTTPS 后再拉长到 31536000。因为 HSTS 一旦下发,浏览器在 max-age 内会强制 HTTPS,回滚窗口就是你自己挖的坑。

还有哪些到期问题不在这套巡检里?本节开头说的”到期监控”其实只覆盖了服务端证书,下面几类同样会到期,但故障表现完全不同:ACME 协议(RFC 8555)自动续期失败时,客户端往往只留一行 cron 日志;CSR 生成(openssl req -new -newkey rsa:2048 -nodes -keyout key.pem -out req.csr)产出的私钥同样有生命周期管理问题;国密 SM2 双证书体系下签名证书与加密证书各有独立有效期,需分别监控;最容易被漏掉的是 mTLS 客户端证书——它没有浏览器提示,过期后表现为接口返回 400(Nginx 默认 “The SSL certificate error”)或 495(客户端证书校验失败),必须单独建一个探针项,用 openssl s_client -cert client.pem -key client.key -connect api.sslgood.com:443 定期拨测。

90 天证书建议 T-30 天 warning、T-14 天 critical、T-7 天电话;47 天证书按 T-21/10/5 设置。阈值以 notAfter 的 UTC 时间为基准,并预留至少一个工作日加 CDN 生效的 30 分钟。用 Let's Encrypt 时,官方建议每天运行两次续期任务,所以告警既要覆盖「即将到期」,也要覆盖「续期失败」。

有。blackbox_exporter 0.25 + Prometheus + Alertmanager 全开源,单实例可监控 500 个以上域名,常驻内存约 100MB;配合 certbot 的 systemd timer 即可形成闭环。真正的成本是人日:首次部署约 2-4 小时,之后每月约 0.5 人日维护台账和演练。

已有 Prometheus 生态选 blackbox_exporter,指标可与业务告警共用一套路由、静默与抑制规则;以主机为单位管理、已部署 Zabbix 6.0/7.0 的,用内置 web.certificate.get[host,443] 更省事,无需新增组件。两者都只负责「发现」,不能替代续期自动化,仍需 certbot 或 cert-manager 兜底。

服务端只下发了叶子证书,没有携带中间证书。Nginx 的 ssl_certificate 要指向 fullchain.pem 而不是 cert.pem;用 openssl s_client -showcerts 数一下返回张数,正常应为 2-3 张。补全后 Go、Java、Python requests 等严格校验的客户端即可恢复正常。

自动续期会失败:80 端口被安全组关闭、DNS API Token 过期、容器重建丢失 crontab、磁盘写满导致写入失败都会让续期静默中断。certbot 失败时只写日志不告警,官方建议每天运行两次正是为了留出重试窗口,但重试全部失败时仍需监控兜底。

不够。要把 SAN 列表中的每个名字、www、api、static、管理后台以及非 443 端口(8443/9443)都纳入;泛域名 *.example.com 不覆盖二级子域。中间证书与根证书也要监控,2021-09-30 DST Root CA X3 过期就曾导致大量老客户端握手失败,而叶子证书本身完全正常。

先执行 curl -vI https://域名 –max-time 10,出现 SSL certificate problem 属于证书链或有效期问题,出现 Connection timed out 属于网络或防火墙问题。再用 openssl s_client -connect :443 -servername 逐节点验证,可定位是 CDN 边缘、负载均衡还是源站的问题。


本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。

内容审核

长期从事 SSL/TLS 证书部署与 HTTPS 运维,负责本站证书选型、安装配置与故障排查内容的编写与审核。