跳到主要内容
安装配置教程

SSL 证书配置到期提醒怎么配?openssl 探测、Prometheus 告警与兜底脚本全流程

SSL证书配置到期提醒 — SSL 证书配置到期提醒怎么配?openssl 探测、Prometheus 告警与兜底脚本全流程
核心结论

SSL 证书配置到期提醒的关键不是「提醒」,而是「探测对象正确」:要监控实际对外提供 TLS 的那份证书(CDN、SLB、Ingress、K8s Secret),而不是服务器上的某个 .pem 文件。 据 Let's Encrypt 官方公告,其证书到期提醒邮件已于 2025 年 6 月起停止发送,依赖 CA 邮件做 SSL 证书到期提醒的做法已不可靠,必须自建探测。 推荐阈值采用 30/14/7/3/1 天五级:30 天进群、7 天进值班、3 天升级电话,因为企业 CA 重新签发走审批通常需要 1–3 个工作日。 blackbox_exporter 探测已过期证书时,必须把模块里的 insecure_skip_verify 设为 true,否则 probe_ssl_earliest_cert_expiry 指标缺失,告警规则永远不会触发。 SSL 证书到期提醒配置完成后必须做一次「阈值拉高演练」,把规则临时改成 < 365 天并观察 3–5 分钟内是否真的收到消息,才算验证通过。

为什么 SSL 证书配置到期提醒总在过期当天才响?四类根本原因拆解

值班群里最常见的一句话是“证书昨天还好好的,怎么今天就红了”。真正的原因往往不是没配监控,而是配的监控没盯住会过期的那张证书。下面四类根因,几乎覆盖了 90% 的“到期当天才响”事故。

根因一:探测对象错位——你监控的是文件,浏览器握手的是另一张证书。很多团队用 node_exporter 的 textfile collector 或 Zabbix 盯 /etc/nginx/ssl/fullchain.pem 的 mtime,但用户实际握手的是 CDN 边缘节点、SLB 监听器或 K8s Ingress 里的 Secret 副本。源站换了证书、边缘没同步,本地文件 mtime 是新的,SSL 证书配置到期提醒却全程沉默。多云架构下这类“证书副本漂移”占比极高,必须对每个对外域名做真实 TLS 握手探测:

# 适用于 OpenSSL 1.1.1+ / 3.x:直连真实端点,-servername 触发 SNI,否则拿到的是默认站点证书
echo | openssl s_client -connect shop.example.com:443 -servername shop.example.com 2>/dev/null 
  | openssl x509 -noout -subject -issuer -dates
# 输出示例:
# subject=CN = *.example.com
# issuer=C = US, O = Let's Encrypt, CN = R11
# notBefore=Jun  1 00:00:00 2025 GMT
# notAfter=Aug 30 23:59:59 2025 GMT   ← 真正要盯的是这一行
探测位置 能否反映用户侧风险 典型盲区
源站证书文件 mtime 否 边缘未同步、文件被 touch 但内容没换
源站 443 端口握手 部分 CDN/SLB 回源证书与边缘证书不同
CDN 边缘节点握手 是 需按域名而非按 IP 采样
K8s Ingress/Secret 是 cert-manager 失败后 Secret 保留旧值

根因二:采样方式错——手工执行过一次,就当成有了监控。签发当天跑一次 openssl x509 -noout -enddate 不叫监控。可用的 SSL 证书配置到期提醒至少每天主动探测 1 次;工程上更常见的是 Prometheus + blackbox_exporter 组合,scrape_interval: 60s,告警加 for: 10m 过滤抖动:

# blackbox_exporter v0.25.0+(默认监听 :9115),prometheus.yml 片段
scrape_configs:
  - job_name: 'blackbox_tls'
    metrics_path: /probe
    scrape_interval: 60s            # 默认 1m,够用且成本低
    params:
      module: [https_2xx]           # 内置模块,默认校验 443 与证书链
    static_configs:
      - targets: ['https://shop.example.com', 'https://api.example.com']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: 127.0.0.1:9115

# 告警规则:probe_ssl_earliest_cert_expiry 是握手证书链中最早到期的 Unix 时间戳
groups:
  - name: tls-expiry
    rules:
      - alert: SSLCertExpiringSoon
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 证书 {{ $value | printf "%.1f" }} 天后到期"

根因三:阈值与通道双双单点。只设 7 天提醒,撞上周末加节假日,再叠加企业 CA 的 1–3 个工作日审批,等于没有缓冲;只发邮件,邮件进垃圾箱或收件人已离职,等于没有通道。建议五级递进,并按等级切换通道:

剩余天数 severity 触达通道
30 天 info 企业微信群消息
14 天 warning 群消息 + 邮件
7 天 warning 群消息 + 工单
3 天 critical 值班手机短信/电话
1 天 critical 电话 + 主管

同时在 Alertmanager 里把 repeat_interval 显式写成 4h(该字段默认值即 4h,但不少团队模板改成了 24h,等于一天只提醒一次)。

根因四:把续期当提醒,或把 CA 邮件当提醒。以为 certbot 自动续期就万事大吉,可 HTTP-01 的 80 端口被安全组关掉、DNS-01 的 API Token 过期时,续期会静默失败。提醒必须独立于续期存在,形成兜底而非重复;certbot renew --dry-run 应纳入每周巡检:

# certbot 2.x:干跑验证整条续期链路,提前暴露 80 端口 / DNS Token 问题
certbot renew --dry-run --cert-name shop.example.com
# 失败时典型报错:
# Challenge failed for domain shop.example.com
# Detail: Timeout during connect (likely firewall problem)

另一条更隐蔽的失效路径是 CA 通知:据 Let’s Encrypt 官方公告,其证书到期提醒邮件自 2025 年 6 月起停止发送。仍把 CA 邮件当作唯一 SSL 证书到期提醒手段的站点,此刻已处于无监控状态——这也是为什么自建探测(openssl/blackbox_exporter)必须成为主链路,CA 邮件最多算冗余信号。

先说结论:SSL 证书配置到期提醒最怕的不是「没有告警」,而是「告警不准」和「续期后不复位」。下面这 7 步是一条完整链路,从资产清点一直做到续期钩子,每一步都给出可直接复制的命令或配置。据 Let’s Encrypt 官方文档,其证书有效期为 90 天、官方建议在剩余 30 天前完成续期(2025 年起还提供 6 天短周期证书选项),这意味着提醒阈值必须按证书实际有效期动态设定,不能一刀切写死 30 天。

第 1 步:建资产清单,先把「该监控谁」数清楚。用 openssl s_client 批量扫所有对外域名,输出 CSV。清单条目数与监控目标数的差值必须为 0,这是后续审计的基线。

#!/usr/bin/env bash
# scan.sh —— 批量采集证书元数据;依赖 openssl 1.1.1+(默认发送 SNI)
# certs.txt 每行:域名:端口:SNI:部署位置:责任人
printf 'domain,port,sni,subject,issuer,notAfter,days_left,location,ownern'
while IFS=: read -r host port sni loc owner; do
  pem=$(echo | openssl s_client -connect "${host}:${port}" 
        -servername "${sni}" -verify_hostname "${sni}" 2>/dev/null)
  [ -z "$pem" ] && { echo "$host,$port,$sni,PROBE_FAILED,,,,$loc,$owner"; continue; }
  end=$(echo "$pem" | openssl x509 -noout -enddate | cut -d= -f2)      # RFC 5280 notAfter
  sub=$(echo "$pem" | openssl x509 -noout -subject -nameopt RFC2253 | cut -d= -f2-)
  iss=$(echo "$pem" | openssl x509 -noout -issuer  -nameopt RFC2253 | cut -d= -f2-)
  left=$(( ( $(date -d "$end" +%s) - $(date +%s) ) / 86400 ))
  echo "$host,$port,$sni,"$sub","$iss",$end,$left,$loc,$owner"
done < certs.txt

跑完后用 tail -n +2 certs.csv | wc -l 得到条目数,再和 Prometheus 里的 count(probe_ssl_earliest_cert_expiry) 比对,两者不等就说明有证书「裸奔」。

第 2 步:定探测点。公网域名至少从 2 个地域探测(如华东 1 与美西 1 各一台 exporter),单点探测会把网络抖动误报成证书问题;内网证书改用 Zabbix 主动模式或内网 blackbox_exporter,绝不要让公网 Prometheus 去连内网地址。

场景 探测点 组件 端口/方式 注意
公网主域名 华东 1 + 美西 1 blackbox_exporter 9115 / /probe 两地域结果取 min(),任一成功即视为有效
CDN 回源域名 源站同机房 blackbox_exporter 9115 需带 Host 头,否则拿到默认站点证书
内网服务 内网跳板机 Zabbix 主动模式 / 内网 exporter 10051 / 9115 公网 Prometheus 不得直连内网
兜底校验 任意一台运维机 openssl + cron systemd timer 不依赖 Prometheus 生态

第 3 步:部署探测组件。blackbox_exporter 建议 0.25.0 及以上(0.25.0 起支持 --web.external-url 与更完整的 TLS 指标),默认监听 9115;已有 Prometheus 2.45+ 的团队直接加一个 scrape job 即可,无需新装。

# blackbox.yml —— 只关心到期时间,跳过链校验以免内网自签证书误报
modules:
  https_cert:
    prober: https
    timeout: 10s
    http:
      preferred_ip_protocol: ip4
      tls_config:
        insecure_skip_verify: true

# prometheus.yml
scrape_configs:
  - job_name: 'blackbox-tls'
    metrics_path: /probe
    params: { module: [https_cert] }
    static_configs:
      - targets: ['www.example.com:443', 'api.example.com:443']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 127.0.0.1:9115

第 4 步:写告警规则。probe_ssl_earliest_cert_expiry 是 Unix 时间戳,核心表达式为 (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30,但必须加上 probe_success == 1 的保护条件——探测失败时该指标为 0,(0 - time())/86400 会算出一个约 -2 万天的巨大负数,导致告警永久处于触发状态,这正是最常见的误报来源。

groups:
  - name: tls-expiry
    rules:
      - alert: SSLCertExpiring
        # 关键:and probe_success == 1 过滤掉网络不通造成的假告警
        expr: |
          (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30
          and probe_success == 1
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天"
          runbook: "https://wiki.example.com/runbook/tls-renew"

若日志里出现 level=error msg="Error sending request" err="tls: failed to verify certificate: x509: certificate has expired",说明确实过期,此时 probe_success 为 0,规则不会触发——所以还需一条 probe_success == 0 的独立可用性告警,两者互补。

第 5 步:配分级路由。Alertmanager 0.27 中用 severity 标签分流:info 走 IM 群、warning 走值班群、critical 走电话;同时用 inhibit_rules 让高级别抑制低级别,避免同一张证书刷屏。注意抑制方向必须是「严重抑制轻微」,反过来配(30 天抑制 14 天)会把升级告警吞掉。

route:
  receiver: im-group
  group_by: [instance]
  routes:
    - matchers: ['severity="warning"']
      receiver: oncall-group
    - matchers: ['severity="critical"']
      receiver: phone-call
inhibit_rules:
  - source_matchers: ['severity="critical"']   # 7 天告警
    target_matchers: ['severity="warning"']    # 抑制 14 天告警
    equal: [instance]
  - source_matchers: ['severity="warning"']
    target_matchers: ['severity="info"']       # 抑制 30 天告警
    equal: [instance]

第 6 步:加独立兜底。用 openssl x509 -checkend 判断剩余秒数,完全不依赖 Prometheus 生态。按 OpenSSL 手册,-checkend 在证书将于指定秒数内过期时返回退出码 1,否则返回 0。建议每天 09:17 执行,避开整点任务高峰。

#!/usr/bin/env bash
# /usr/local/bin/cert-check.sh
THRESHOLD=$((14*86400))          # 14 天
WEBHOOK="${FEISHU_WEBHOOK:?未设置 FEISHU_WEBHOOK}"
while IFS=: read -r host port sni _; do
  if ! echo | openssl s_client -connect "${host}:${port}" -servername "${sni}" 2>/dev/null 
       | openssl x509 -checkend "${THRESHOLD}" -noout >/dev/null 2>&1; then
    curl -s -X POST "$WEBHOOK" -H 'Content-Type: application/json' 
      -d "{"msg_type":"text","content":{"text":"证书告警: ${host}:${port} 剩余不足 14 天"}}"
  fi
done < /etc/cert-monitor/certs.txt

# /etc/systemd/system/cert-check.timer
# [Timer]
# OnCalendar=*-*-* 09:17:00
# Persistent=true

第 7 步:接续期钩子,让告警自动 resolved。certbot 用 --deploy-hook,acme.sh 用 --reloadcmd,在续期成功后重载 Nginx 并触发一次探测刷新。把脚本放进 /etc/letsencrypt/renewal-hooks/deploy/ 目录后无需每次改命令行,certbot 会自动执行。

# certbot:所有证书续期成功后都会执行该目录下的脚本
cat > /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh <<'EOF'
#!/usr/bin/env bash
set -e
nginx -t && systemctl reload nginx
# 主动打一次探测,让 probe_ssl_earliest_cert_expiry 立即刷新,告警自动 resolved
curl -s "http://127.0.0.1:9115/probe?module=https_cert&target=www.example.com:443" >/dev/null
EOF
chmod +x /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh

# acme.sh 等价写法
acme.sh --install-cert -d example.com --key-file /etc/nginx/ssl/example.key 
  --fullchain-file /etc/nginx/ssl/example.pem 
  --reloadcmd "nginx -t && systemctl reload nginx"

最后提醒一个容易被忽略的细节:blackbox_exporter 默认抓取间隔若为 60s,而证书刚续期,Prometheus 最长要等 5 分钟才看到新指标,告警会在 for 窗口内抖动一次。把 scrape_interval 调到 30s 或在 deploy hook 里直接 push 一次指标,就能让 SSL 证书配置到期提醒的「触发—续期—恢复」形成闭环,而不是靠人肉去 Alertmanager 里点 Silence。

SSL 证书到期提醒的配置与命令示例(含具体参数与版本)

怎么用一条命令远程查出某个域名证书的剩余有效期?

据 OpenSSL 官方文档,s_client 完成 TLS 握手后会把对端证书链以 PEM 形式写到标准输出,管道给 x509 即可解析出 subject、issuer、有效期和指纹。OpenSSL 3.0.x 与 1.1.1w 的输出字段完全一致,脚本可以通用:

# -servername 必须带:SNI 多站点环境下缺失它会拿到默认站点的证书,这是最常见的误判来源
echo | openssl s_client -connect sslgood.com:443 -servername sslgood.com 2>/dev/null 
  | openssl x509 -noout -subject -issuer -dates -fingerprint -sha256
# 输出示例(OpenSSL 3.0.13)
# subject=CN = sslgood.com
# issuer=C = US, O = Let's Encrypt, CN = R11
# notBefore=Mar  1 00:00:00 2025 GMT
# notAfter=May 30 23:59:59 2025 GMT
# SHA256 Fingerprint=3A:1F:...

本地证书文件怎么判断“还剩不到 N 天”?

# -checkend 单位是秒:剩余不足 N 秒则退出码 1,否则 0(默认不带此参数时只打印,不返回状态)
openssl x509 -in /etc/nginx/ssl/fullchain.pem -noout -checkend 2592000; echo $?
# 0 = 30 天内不会过期;1 = 已过期或将在 2592000 秒(30 天)内过期

注意:脚本顶部若有 set -e,-checkend 返回 1 会让脚本立刻退出,必须写成 if ! openssl x509 ... -checkend 2592000; then,或在调用前临时 set +e。

blackbox_exporter 里怎么配才能拿到过期指标?

# blackbox_exporter 0.25.x,默认配置路径 /etc/blackbox_exporter/config.yml
modules:
  https_cert:
    prober: http
    timeout: 10s                     # 需小于 Prometheus scrape_timeout(默认 10s)
    http:
      preferred_ip_protocol: ip4     # 默认 ip6,只有 A 记录的域名会直接超时
      tls_config:
        insecure_skip_verify: true   # 默认 false

把 insecure_skip_verify 置 true 不是为了“省事”:blackbox_exporter 只在握手成功后写入 probe_ssl_earliest_cert_expiry(证书链中最早的到期时间,Unix 时间戳)。保持默认 false 时,证书已过期或中间证书缺失会直接握手失败,该指标为空,告警永远不会触发——这正是“监控装好了却收不到 SSL 证书配置到期提醒”的典型根因。

# prometheus.yml 中引用该模块:metrics_path: /probe,params.module: [https_cert],reload 后生效
groups:
  - name: ssl-cert-expiry
    rules:
      - alert: SSLCertExpiring30d
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30 and probe_success == 1
        for: 10m
        labels:
          severity: info
        annotations:
          summary: '{{ $labels.instance }} SSL 证书剩余 {{ $value | humanize }} 天'
      # 同一文件复制三份,只改阈值与 severity:14 天 warning、7 天 critical、3 天 critical
route:
  receiver: im-default
  group_by: [alertname, instance]
  group_wait: 30s        # 默认 30s
  group_interval: 5m     # 默认 5m;企业微信机器人限 20 条/分钟,不要低于 1m
  repeat_interval: 4h    # 默认 4h
  routes:
    - matchers: ['severity="critical"']
      receiver: phone-oncall
      repeat_interval: 1h
    - matchers: ['severity="warning"']
      receiver: im-oncall

Prometheus 挂了怎么办?cron 兜底脚本怎么写?

#!/bin/bash
# /etc/cron.d/ssl-expiry: 0 3 * * * root /usr/local/bin/ssl-check.sh
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
for d in sslgood.com api.sslgood.com; do
  end=$(echo | /usr/bin/openssl s_client -connect "$d:443" -servername "$d" 2>/dev/null 
        | /usr/bin/openssl x509 -noout -enddate | cut -d= -f2)
  [ -z "$end" ] && continue                  # 握手失败时跳过,避免 date 解析报错
  left=$(( ($(date -d "$end" +%s) - $(date +%s)) / 86400 ))
  if [ "$left" -lt 14 ]; then
    /usr/bin/curl -s -X POST -H 'Content-Type: application/json' 
      -d "{"msgtype":"text","text":{"content":"$d 证书剩余 ${left} 天"}}" "$WEBHOOK"
  fi
done

cron 的环境变量极简,所以脚本内显式设 PATH、所有命令写绝对路径;另外 date -d 属于 GNU coreutils,macOS 的 BSD date 不支持,跨平台需改用 openssl x509 -checkend 分支。

探测方式 视角 能发现 SNI/证书链错配 依赖 适用场景
openssl s_client 远程 外部真实链路 能(必须带 -servername) 仅 openssl 临时排查、cron 兜底
openssl x509 -checkend 本机文件 不能,只看文件内容 证书文件可读 发布前卡口、CI 校验
blackbox_exporter 探针所在网络 能 Prometheus 栈 规模化持续告警

阈值为什么定 30 天?据 Let’s Encrypt 文档,其证书有效期 90 天,官方建议在到期前 30 天完成续期,因此 30 天档位实际是“续期失败”的第一信号,14/7/3 天则是逐级升级的兜底;证书 notAfter 字段语义见 RFC 5280 §4.1.2.5。

SSL 证书到期提醒的四种方案怎么选?参数对比与选型表

先把结论摆前面:判断“该用哪种方案”,只需要回答三个问题——你手上有多少域名、有没有内网或自签证书、现有告警平台是哪一套。下面这张表按这四个维度做了横向对比,数值均来自各方案官方文档的默认配置(截至 2024 年,blackbox_exporter v0.25、Zabbix 7.0 LTS、OpenSSL 3.0)。

方案 成本 探测粒度 能否发现 CDN 后证书 适合规模
openssl + cron 0 元 天级(cron 最小 1 分钟) 需手工维护目标域名 < 20 域名
blackbox_exporter + Prometheus 0 元软件费,需 1 台 2C4G 实例 60s(默认 scrape_interval) 能,按域名探测边缘节点 20–500 域名
Zabbix 6.4 / 7.0 内置模板 0 元 1–5 分钟 能 已有 Zabbix 的团队
商业 SaaS 证书监控 约 ¥30–¥200/月/域名,免费版常见 10–50 个监控项 5–60 分钟 能,多地域节点 无运维人力

方案 A:openssl + cron,零成本但要接受“无历史、无静默”。核心是 openssl x509 -checkend,它按秒判断剩余有效期:剩余时间大于阈值返回 0,否则返回 1,天然适合写进 cron 的 || 分支。注意 -servername 必须显式传入,否则在 CDN/SNI 场景下 s_client 会拿到默认虚拟主机的证书,这正是“本地看着快过期、线上其实正常”的经典误报来源。

#!/bin/bash
# check_cert.sh —— 用法: ./check_cert.sh example.com 30
DOMAIN="$1"; DAYS="${2:-30}"        # 阈值默认 30 天
echo | openssl s_client -servername "$DOMAIN" -connect "$DOMAIN:443" 2>/dev/null 
  | openssl x509 -noout -enddate      # 输出 notAfter=...
echo | openssl s_client -servername "$DOMAIN" -connect "$DOMAIN:443" 2>/dev/null 
  | openssl x509 -noout -checkend $((DAYS*86400)) 
  || echo "ALERT: $DOMAIN 将在 $DAYS 天内到期"

# crontab -e:每天 09:00 检查一次(cron 粒度最小 1 分钟,实际用不到)
# 0 9 * * * /opt/ssl/check_cert.sh example.com 30 >> /var/log/ssl_check.log 2>&1

方案 B:blackbox_exporter + Prometheus,20–500 域名下的最优解。它暴露 probe_ssl_earliest_cert_expiry(证书链中最早到期者的 Unix 时间戳,blackbox_exporter 0.16+ 提供),配合现有 Alertmanager 直接复用值班通道,无需再造一套告警。据 Prometheus 官方文档,默认 scrape_interval 为 1m、单次探测超时默认 120s,所以 60s 粒度是开箱即得的。

# blackbox.yml —— 只关心有效期时跳过链校验,避免自签/内网 CA 误报
modules:
  https_2xx:
    prober: http
    timeout: 10s
    http:
      tls_config:
        insecure_skip_verify: true

# prometheus.yml:targets 直接写域名,由 relabel 转成 __param_target
scrape_configs:
  - job_name: 'blackbox_ssl'
    metrics_path: /probe
    params: { module: [https_2xx] }
    static_configs:
      - targets: ['example.com', 'api.example.com']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: 127.0.0.1:9115     # blackbox_exporter 地址
# alert.rules.yml:两级阈值,30 天预警、7 天升级
- alert: SSLCertExpiringSoon
  expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30
  for: 1h
  labels: { severity: warning }
  annotations:
    summary: "{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天"

方案 C:Zabbix 内置模板,省掉“新建监控栈”的沟通成本。Zabbix 6.4 起自带 Website certificate by Zabbix agent 2 模板,item key 为 web.certificate.get[example.com,443,yes](第三个参数 ssl 默认 yes,即走 TLS 而非明文),开箱即可采集到期时间;触发器阈值由模板宏控制(如 {$CERT.WEBSITE.EXPIRE.WARN} 默认 30 天),可再加一级 7 天严重告警。

方案 D:商业 SaaS,用钱换“零运维 + 多地域”。UptimeRobot、StatusCake 及国内云厂商的证书服务都提供免费档,常见 10–50 个监控项、5 分钟间隔,付费约 $7–$50/月。它的真实价值在于从多个地域节点探测——能区分“证书本身过期”和“某个边缘节点还没同步新证书”;代价是内网证书覆盖不到,告警也很难与内部值班系统深度集成。

怎么选?没有监控栈且域名少于 20 个,先上方案 A,再用日历或 IM 机器人做二次兜底(据 Let’s Encrypt 文档,其证书有效期 90 天,官方建议在剩余 30 天时续期,所以 30 天阈值正好卡在续期窗口上);已有 Prometheus 就直接上方案 B,这是长期维护成本最低的组合;已在用 Zabbix 6.4+ 的团队没有理由再引入新组件,方案 C 即可;完全没有运维人力、且证书都在公网的,再考虑方案 D。

SSL 证书到期提醒配置的常见报错与排查方法

问:为什么 probe_ssl 指标是空的,告警规则写了却永远不触发?

先用最直白的方式验证——如果探测模块沿用默认的 https_2xx,而目标证书已经过期,握手阶段就会失败,probe_ssl_earliest_cert_expiry 根本不会产生:

# 复现:返回空说明 ssl 系列指标未被采集
curl -s 'http://127.0.0.1:9115/probe?target=expired.example.com:443&module=https_2xx' | grep probe_ssl
# 只剩下面两行
# probe_success 0
# probe_http_status_code 0

根因是 blackbox_exporter 的 http.tls_config.insecure_skip_verify 默认为 false(据 Prometheus blackbox_exporter 官方配置文档),过期证书校验失败即中断连接。正确做法是新建独立模块,而不是修改 https_2xx(后者还要用于可用性探测):

# blackbox.yml —— 适用于 blackbox_exporter v0.22.0 及以上
modules:
  https_cert:                       # 专用于证书到期探测
    prober: http
    timeout: 10s
    http:
      tls_config:
        insecure_skip_verify: true  # 关键:跳过校验,过期证书也能拿到证书链
      preferred_ip_protocol: ip4
# prometheus.yml 抓取片段
- job_name: 'blackbox-cert'
  metrics_path: /probe
  params:
    module: [https_cert]
  static_configs:
    - targets: ['expired.example.com:443']
  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - target_label: __address__
      replacement: 127.0.0.1:9115

即便如此,仍建议加一条兜底告警,防止「指标为空 = 永远不告警」这种静默失效:

- alert: SSLProbeFailed          # 探测本身失败(DNS/端口/协议)
  expr: probe_success == 0
  for: 5m
- alert: SSLCertExpiring
  expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
  for: 10m

问:报 verify error:num=10:certificate has expired 是真过期还是误报?

两种报错本质相同,只是来源不同:OpenSSL 侧输出 verify error:num=10:certificate has expired,Go 侧(blackbox_exporter / kube-cert-manager)输出 x509: certificate has expired or is not yet valid: current time 2025-11-20T02:11:07Z is after 2025-11-19T23:59:59Z。先交叉验证主机时间,时钟漂移会同时放大误报并导致 OCSP 校验失败:

# 查看证书实际有效期(notAfter 是 UTC)
openssl s_client -connect example.com:443 -servername example.com </dev/null 2>/dev/null 
  | openssl x509 -noout -subject -dates

# 校对时间:chrony 4.x 输出中的 System time 偏移应远小于 5 分钟
date -u
chronyc tracking

若时间正确、notAfter 确实早于当前时间,那就是真告警,直接走续签流程(Let’s Encrypt 证书有效期 90 天,官方建议在剩余 30 天时续签)。

问:no peer certificate available 怎么排查?

这条报错意味着 TCP 通了但没拿到证书,九成是未发送 SNI 或端口不是 TLS 端口。用 IP 直连时必须显式带 -servername:

# 绕过 DNS 直连源站,强制发送 SNI,并打印完整证书链
openssl s_client -connect 1.2.3.4:443 -servername example.com -showcerts </dev/null

# 确认探测端协议能力:TLS 1.3 需 OpenSSL 1.1.1+
openssl version -a
openssl s_client -connect example.com:443 -servername example.com -tls1_3 </dev/null

若 CDN 开启了「强制 HTTPS」或「仅 TLS 1.3」,旧版 OpenSSL(如 CentOS 7 自带的 1.0.2k)会直接握手失败——据 OpenSSL 1.1.1 发布说明,TLS 1.3 自该版本起才支持。

问:cron 里跑兜底脚本报 openssl: command not found 或 date: invalid date?

cron 的默认 PATH 只有 /usr/bin:/bin,SHELL 为 /bin/sh,而 date -d "+30 days" 是 GNU date 的扩展,在 sh/dash 或 BSD date 下会报 invalid date。在 crontab 顶部显式声明环境:

# crontab -e 顶部三行必须写在所有任务之前
PATH=/usr/local/bin:/usr/bin:/bin
SHELL=/bin/bash
MAILTO=""

# 每 30 分钟检查一次,日志留存便于 bash -x 复现
*/30 * * * * /usr/local/bin/cert_check.sh >> /var/log/cert_check.log 2>&1

脚本内所有外部命令写绝对路径(/usr/bin/openssl、/bin/date),上线前用 bash -x /usr/local/bin/cert_check.sh 手工跑一遍,确认每条展开都符合预期。

问:告警算出来了却发不出去,Alertmanager 日志怎么写?

典型报错:msg="Notify for alerts failed" err="Post https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=...: context deadline exceeded"。多数是出口需走代理,或 webhook 被限流(企业微信群机器人限制 20 条/分钟)。在 receiver 里补 http_config:

receivers:
  - name: wechat
    webhook_configs:
      - url: 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx'
        send_resolved: true
        http_config:
          proxy_url: 'http://10.0.0.8:3128'   # 无代理则删除此行
          timeout: 10s                        # 显式设置,避免默认过短

问:Zabbix 侧 unsupported item key 和 Interrupted system call 分别是什么问题?

前者几乎都是 item key 少了端口参数——正确写法是 web.certificate.get[example.com,443],写成 web.certificate.get[example.com] 就会变成 unsupported;后者 Get value from agent failed: cannot connect to [[example.com]:443]: [4] Interrupted system call 说明 Zabbix server/proxy 无出网权限,或目标只监听 IPv6 而探测端只有 IPv4。

把上述六类现象对照成一张排查表,可以显著缩短定位时间:

现象 / 报错 根因 处理
grep probe_ssl 返回空 模块 insecure_skip_verify 默认 false,握手失败 新建 https_cert 模块并设 true,加 probe_success == 0 兜底
verify error:num=10:certificate has expired 证书真过期,或探测端时钟漂移 date -u + chronyc tracking 校准,偏移 < 5 分钟
no peer certificate available 缺 SNI、端口不对、协议版本不匹配 -servername 复测,确认 OpenSSL ≥ 1.1.1
openssl: command not found cron PATH 仅 /usr/bin:/bin crontab 顶部设 PATH/SHELL,脚本内用绝对路径
context deadline exceeded 出口代理缺失或 webhook 限流 配 proxy_url、timeout: 10s,控制 20 条/分钟
unsupported item key Zabbix key 缺端口参数 改为 web.certificate.get[host,443]

排查顺序建议固定为「先确认探测能拿到证书 → 再确认指标非空 → 最后确认通知链路」,这条链路任一环断裂,SSL 证书配置到期提醒都会变成哑告警。

配置写完不等于告警生效。下面 6 个动作按“验证成本从低到高”排列,全部可复现,建议在同一个变更窗口内一次跑完;任何一步失败,都说明 SSL 证书配置到期提醒这条链路还没真正打通。

# 验证动作 确认什么 典型失败信号 耗时
1 promtool / amtool 语法校验 配置文件可被加载 FAILED: 1 error(s) were found <10s
2 probe 数值与 openssl 比对 探测数据真实准确 probe_ssl_earliest_cert_expiry 0 1min
3 阈值拉高演练 通知通道全链路通 只有邮件、IM 无消息 3–5min
4 造假证书实测 30/14/7 三级递进 只触发最高级、不递进 10min
5 静默与抑制检查 没有隐藏的 silence 告警在 UI 里“凭空消失” 2min
6 季度一致性审计 覆盖无遗漏 清单数 > 时间序列数 5min

1)规则文件真能被加载吗?Prometheus 官方文档明确指出 promtool 应与服务端同版本(随官方 tarball 一同发布)。两条命令都返回 0 才算过关:

promtool check rules /etc/prometheus/rules/ssl-cert-expiry.yml
# 期望输出:SUCCESS: 4 rules found

amtool check-config /etc/alertmanager/alertmanager.yml
# 无输出且 $? = 0 即通过;失败会打印 problem parsing config file
echo $?

2)探针数值和 openssl 对得上吗?取 blackbox_exporter 返回的 probe_ssl_earliest_cert_expiry(Unix 秒),与 openssl 输出逐字核对,误差应小于 60 秒:

# debug=true 会附带探测过程日志,便于定位握手失败
curl -s 'http://127.0.0.1:9115/probe?target=sslgood.com:443&module=https_cert&debug=true' 
  | grep probe_ssl_earliest_cert_expiry
date -d @1750000000          # GNU coreutils;macOS 用 date -r
echo | openssl s_client -connect sslgood.com:443 -servername sslgood.com 2>/dev/null 
  | openssl x509 -noout -enddate

若 probe 值为 0,通常是 module 里缺 tls_config.server_name(SNI)或 insecure_skip_verify 设置不当——参见 blackbox_exporter 的 README 中 https 模块示例。

3)阈值拉高演练——唯一可靠的端到端验证。把表达式临时改成 < 365、for: 1m,热加载后 3–5 分钟内确认 IM 与邮件双通道都收到消息:

# 前提:Prometheus 启动参数带 --web.enable-lifecycle(默认关闭)
curl -X POST http://localhost:9090/-/reload
curl -s http://localhost:9090/api/v1/rules | grep -A2 ssl-cert-expiry
# 验证完改回原阈值,Alertmanager 应出现 resolved 记录(路由需 send_resolved: true)

4)造假证书实测三级递进。用 1 天有效期的自签证书起临时服务,把监控目标指向它:

openssl req -x509 -newkey rsa:2048 -keyout k.pem -out c.pem -days 1 -nodes -subj '/CN=test.local'
openssl s_server -accept 8443 -cert c.pem -key k.pem   # 前台运行,另开终端验证

注意:若 blackbox_exporter 跑在容器里,127.0.0.1:8443 指向容器自身,必须换成宿主机 IP 或使用 --network host。

5)静默与抑制检查——高频隐藏原因。宽泛 silence(如 job=~".+")会让告警在 UI 里凭空消失:

amtool alert query  --alertmanager.url=http://localhost:9093
amtool silence query --alertmanager.url=http://localhost:9093

6)季度一致性审计。资产清单域名数应与时间序列数严格相等,差值 0 才算覆盖完整:

wc -l < assets.txt   # 每行一个域名
curl -s 'http://localhost:9090/api/v1/query' 
  --data-urlencode 'query=count(probe_ssl_earliest_cert_expiry)'

同时把“添加 SSL 证书到期提醒监控项”写进新域名上线 checklist,否则半年后这份清单必然失真。据 Let’s Encrypt 文档,其证书有效期为 90 天且支持自动续期,因此提醒阈值应覆盖“续期失败”而非“证书过期”本身。

把 SSL 证书到期提醒纳入日常运维:阈值分级与责任分工

30、14、7、3、1 天这五档阈值,为什么不能等距切?

因为每一档要覆盖的“人为动作”长度不同。据 Let’s Encrypt 文档,其证书有效期 90 天,官方建议剩余 30 天即开始续期;也就是说 30 天档是“该动手了”的信号,而不是紧急信号。往下每一档的间隔应按审批时长 + 重试缓冲倒推:30→14 天留 16 天,覆盖一次变更审批(通常 3–5 个工作日)加 ACME 失败重试;14→7 天留 7 天,覆盖一次自动续期失败后的人工介入;7→3 天留 4 天,用于排查 CA 账户、DNS-01 验证、CAA 记录这类“不是证书本身的问题”;3→1 天只留 2 天,此时已没有修复窗口,只能升级为电话/短信并同步业务方准备降级方案。

剩余天数 severity 通知渠道 责任人 响应时限
≤30 info 运维群(IM 机器人) 证书资产清单维护人 当日登记,排入本周续期
≤14 warning 值班群 @oncall 值班工程师 4 小时内确认并动手
≤7 critical 值班群 + 值班负责人 值班负责人 2 小时内给出处置结论
≤3 page 电话 / 短信 值班负责人 + 平台团队 30 分钟内响应
≤1 emergency 电话 + 业务方同步 应急指挥 立即启动应急流程

Prometheus 里怎么把这五档变成真实告警?

用 blackbox_exporter 的 probe_ssl_earliest_cert_expiry(单位秒)做差即可,同一表达式按阈值拆成多条规则、只改 severity 标签,保证路由逻辑唯一:

# prometheus-rules.yaml —— 适用 Prometheus 2.40+ / prometheus-operator CRD
groups:
  - name: ssl-cert-expiry
    rules:
      - alert: SSLCertExpiring30d
        # 86400 秒 = 1 天,用天数差比直接用时间戳更好读
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30
        for: 1h              # 抵消单次探测抖动,默认抓取间隔 15s 时 1h 足够
        labels:
          severity: info
      - alert: SSLCertExpiring14d
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
        for: 30m
        labels:
          severity: warning
      - alert: SSLCertExpiring3d
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 3
        for: 10m
        labels:
          severity: page

Alertmanager(0.25+)侧用 severity 做一级路由,注意三个默认值:group_wait 默认 30s、group_interval 默认 5m、repeat_interval 默认 4h。对 info 档要把 repeat_interval 拉长到 24h 降噪,对 page 档反而要缩到 1h:

# alertmanager.yml 片段
route:
  receiver: im-ops
  group_by: [alertname, instance]
  routes:
    - matchers: [severity="info"]
      receiver: im-ops
      repeat_interval: 24h        # 默认 4h,info 档放宽
    - matchers: [severity="page"]
      receiver: sms-oncall
      repeat_interval: 1h         # 默认 4h,紧急档收紧
      continue: true              # 同时继续走后续路由,保证群里也留痕

告警发出来了,到底谁认领?

  • 证书资产清单维护人:新增域名、CDN 回源域名、SLB 监听器上的证书,一律由其在 blackbox 目标列表登记;清单是告警的唯一事实来源。
  • 值班工程师:只负责 14 天以内告警的处置,14 天以上属于“计划内工作”,不进值班考核。
  • 安全 / 平台团队:负责 CA 账户、ACME 账户、EAB 凭据的有效性——这类故障不会体现为“证书快过期”,而是续期任务直接失败,必须单独监控。

三者的名字和联系方式要写进值班手册,否则告警会变成群里没人回的消息。据 Mozilla 的 Server Side TLS 指南,证书链配置错误同样会导致握手失败,因此清单里除到期时间外,建议一并记录签发 CA 与链路完整性。

怎么防止新业务上线就漏配 SSL 证书配置到期提醒?

把提醒配置做成变更的前置条件:任何域名新增、CDN 切换、SLB 监听器调整的变更单,必须填写“是否已配置 SSL 证书到期提醒”并附监控截图。截图前先用命令自检,确认探测目标真实存在:

# openssl 1.1.1 / 3.x 通用;-servername 必须带,否则 SNI 站点会拿到默认证书
echo | openssl s_client -connect www.example.com:443 -servername www.example.com 2>/dev/null 
  | openssl x509 -noout -subject -enddate
# 正常输出示例:notAfter=Sep 12 03:14:07 2025 GMT
# 若出现 verify error:num=10:certificate has expired,先修复再提变更单

怎么证明提醒机制本身没坏?

每次演练记录三个数值:告警触发时间、通知到达时间、处置完成时间,据此算出 MTTR 基线。只有连续两个季度零漏报(即无任何证书在无告警情况下过期),才考虑把 30 天阈值放宽到 21 天以降低噪音;反之若出现一次漏报,阈值应回退到 30 天并补一次全量域名扫描。

建议采用 30/14/7/3/1 天五级。7 天太短的原因在于企业 CA 重新签发通常要走 1–3 个工作日审批,加上域名验证与部署窗口,7 天往往只剩一次机会;而 30 天提前量既能留出审批缓冲,又不会因为太早而被忽略。

不会。据 Let's Encrypt 官方公告,其证书到期提醒邮件已于 2025 年 6 月起停止发送,官方建议用户自行实现到期监控。因此把 CA 邮件当作唯一 SSL 证书到期提醒手段的站点需要尽快补上自建探测。

需要。自动续期会在 80 端口被安全组关闭、DNS API Token 失效、ACME 账户异常时静默失败,日志里只有一行错误,没人会天天看。独立的 SSL 证书到期提醒是对续期流程的兜底验证,两者职责不同。

先确认探测用的 module 是否设置了 insecure_skip_verify: true。默认 false 时,证书过期或链不完整会导致 TLS 握手失败,blackbox_exporter 不会返回该指标,依赖它的告警表达式自然永远为假。改完配置后重启 exporter,用 curl 带 &debug=true 复测即可确认。

已有 Prometheus 体系选 blackbox_exporter,软件零成本、探测粒度可到 60 秒、告警能复用现有值班通道;已有 Zabbix 且不想新建监控栈,用 7.0 内置模板 web.certificate.get 最省事;没有运维人力、域名又分散在多云环境时,商业 SaaS 约 ¥30–¥200/月/域名的成本比自建更划算。

两边都要监控。源站证书决定回源链路的 TLS 是否有效,CDN 边缘证书决定用户侧握手是否正常,二者更新节奏不同步是常见事故点。做法是把同一域名配两条探测:一条指向源站 IP 加 -servername,一条指向 CDN 域名。

这是 cron 的 PATH 与登录 shell 不一致导致的,cron 默认只有 /usr/bin:/bin。在 crontab 顶部加 PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin 和 SHELL=/bin/bash,脚本内所有命令写绝对路径,再用 bash -x 手工执行一次确认输出正常。


本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。

内容审核

长期从事 SSL/TLS 证书部署与 HTTPS 运维,负责本站证书选型、安装配置与故障排查内容的编写与审核。