跳到主要内容
基础知识

证书到期检测怎么做?openssl 命令、Prometheus 告警与 certbot 验证全流程

证书到期检测 — 证书到期检测怎么做?openssl 命令、Prometheus 告警与 certbot 验证全流程
核心结论

证书到期检测的核心是「按剩余寿命比例告警」:Let's Encrypt 90 天证书在剩余 30 天触发 warning、剩余 7 天触发 critical,一条命令即可取到 notAfter:`echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null | openssl x509 -noout -dates`。 监控脚本里带 `curl -k` 是最常见的漏报原因:跳过校验后过期证书仍返回 200,去掉 -k 后 curl 会以退出码 60、报错 `SSL certificate problem: certificate has expired` 明确失败。 Prometheus 用 blackbox_exporter 0.25 的 `probe_ssl_earliest_cert_expiry` 指标做告警,表达式 `(probe_ssl_earliest_cert_expiry - time()) / 86400 < 21`,配合 `for: 10m` 可过滤抖动。 本地文件检测用 `openssl x509 -in fullchain.pem -noout -enddate -checkend 2592000`,退出码 1 表示 30 天内到期;fullchain 需用 `openssl crl2pkcs7 | openssl pkcs7 -print_certs` 逐张检查,避免中间证书过期被漏掉。 续期闭环必须验证:`certbot renew --dry-run --cert-name example.com` 输出 `Congratulations, all simulated renewals succeeded`,且 `--deploy-hook "systemctl reload nginx"` 能在续期后自动重载。

一、为什么证书到期检测总在事后才报警?6 个根因拆解

因为大多数团队的证书到期检测并不是”没做”,而是检测点选错了——它测的是”文件里那张 PEM 的 notAfter”,而用户实际遭遇的是”443 端口上进程内存里正在用的那张证书”。两者之间的每一层断裂,都会把告警推迟到事故发生之后。下面 6 个根因,配上可直接复现的命令。

根因零:有效期本身在持续缩短,阈值策略却没变。据 CA/Browser Forum 2025 年 4 月通过的 SC-081 提案,公开信任 TLS 证书的最长有效期将从 398 天依次降到 2026-03-15 的 200 天、2027-03-15 的 100 天、2029-03-15 的 47 天;而 Let’s Encrypt 一直固定 90 天。这意味着同样”提前 7 天告警”,容错窗口从 7/398 变成 7/47——留给人工介入的比例从 1.8% 缩到 15%。阈值必须改成按剩余寿命比例(如剩余 < 20% 且 < 14 天)设置。

根因一:健康检查脚本用了 curl -k。curl -k 跳过整条链的校验,证书过期后照样返回 200,监控面板永远是绿的。去掉 -k 后,curl 会以退出码 60 失败,并打印 curl: (60) SSL certificate problem: certificate has expired。对比两种探测:

# ❌ 错误:-k 让证书错误彻底隐形,过期后仍返回 200
curl -k -s -o /dev/null -w '%{http_code}n' https://example.com

# ✅ 正确:--fail 让 HTTP 4xx/5xx 也返回非 0;--max-time 防挂死
# 退出码 60 = 证书校验失败(过期/主机名不符/链不完整)
curl -sS --fail --max-time 10 -o /dev/null -w '%{http_code}n' https://example.com
echo "exit=$?"    # 期望 0;60 即证书问题

# ✅ 顺带取剩余天数(GNU date;macOS 用 gdate 或 python3)
end=$(echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null 
      | openssl x509 -noout -enddate | cut -d= -f2)
echo "剩余天数: $(( ( $(date -d "$end" +%s) - $(date +%s) ) / 86400 ))"

根因二:只探测了入口证书。CDN 或四层负载均衡后面还有回源证书;内网还有 SMTP 587/465、LDAPS 636、Kubernetes apiserver 6443、MySQL 3306 的 TLS 端口。这些都不在 HTTP 拨测范围内,需要按端口清单逐一 openssl s_client 探测。

根因三:只解析了叶子证书。openssl x509 默认只看第一张证书,而中间证书过期同样会让全站报错——2020-05-30 的 AddTrust External CA Root 过期、2021-09-30 的 DST Root CA X3 过期两次大规模事故,问题都不在站点自己的证书上。用 -showcerts 逐张检查整条链。

根因四:文件更新了但进程没重载。nginx 需 nginx -t && nginx -s reload,HAProxy 需重新 reload,Java 应用需重新导入 JKS 并重启。证书文件 mtime 变了,不代表监听 443 的进程内存里换成了新证书——所以要检测线上握手结果,而非磁盘文件。

根因五:续期任务静默失败。certbot.timer 被 disable、acme.sh 的 crontab 丢失、DNS API Token 过期或权限被回收,certbot renew 的失败信息只写进 stderr 和 /var/log/letsencrypt/letsencrypt.log,没有二次告警就等于没监控。据 Let’s Encrypt 文档,官方建议在 renew 后加 --deploy-hook 重载服务,并对失败做独立告警。

二、证书到期检测的完整实操步骤(5 步落地)

为什么做了证书到期检测,证书还是过期了? 因为大多数事故不是”没监控”,而是”监控的资产不全”或”采集到的不是真实下发的那张证书”。下面 5 步是把检测真正落地的顺序,每步都给出可直接复制的命令。

第 1 步:资产盘点——先把覆盖面补全

只盯 443 的清单一定会漏。邮件(993/995/587/465)、LDAP over TLS(636)、Kubernetes API(6443)、管理后台(8443)都是典型的”独立证书、独立续期、独立过期”。先用 nmap 扫出开放端口生成初版清单:

# -iL 读主机列表;-oG 输出可 grep 的格式,便于二次处理
nmap -p443,8443,993,995,587,465,636,6443 --open -iL hosts.txt -oG scan.txt

# 提取 "IP:端口" 清单,作为资产表的初始行
grep -oE '([0-9]{1,3}.){3}[0-9]{1,3}:[0-9]+/open' scan.txt

清单字段固定为:域名 / 端口 / SNI / 证书来源(Let’s Encrypt、商业 CA、自签)/ 负责人 / 续期方式。SNI 字段是第 2 步能否采准的前提,不能省。

第 2 步:远程采集真实下发的证书

证书到期检测最容易出错的地方就在这里:不显式传 -servername,在 SNI 虚主机场景下拿到的可能是默认站点证书,剩余天数和指纹全错。OpenSSL 1.1.1 / 3.x 虽然会在部分场景从 -connect 推导 SNI,但连接 IP、走 -proxy 或使用旧版本时不会,所以一律显式指定:

# -servername 必须显式给出;timeout 防止握手挂死拖垮巡检脚本
echo | timeout 10 openssl s_client -connect example.com:443 
  -servername example.com 2>/dev/null 
  | openssl x509 -noout -subject -issuer -dates -fingerprint -sha256

如果证书已过期,握手阶段就会打印 verify error:num=10:certificate has expired,但仍会输出证书内容,可继续解析。按 RFC 5280 的定义,notAfter 是 UTC 时间,脚本换算天数时务必统一到 UTC,否则跨时区会差一天。

第 3 步:本地文件与私钥的成对校验

远程探活只能发现”已过期”,发现不了”续期时只换了 cert 没换 key”这类事故。落地机上加两道检查:

# 退出码 0 = 剩余有效期 > 30 天;1 = 已进入 30 天窗口或已过期
openssl x509 -in /etc/nginx/ssl/fullchain.pem -noout -enddate -checkend 2592000
echo "exit=$?"

# RSA 证书与私钥是否成对:两行 MD5 必须完全一致
openssl x509 -noout -modulus -in cert.pem | openssl md5
openssl rsa  -noout -modulus -in key.pem  | openssl md5

注意 -modulus 只适用于 RSA。ECDSA 证书改用公钥比对:openssl x509 -noout -pubkey -in cert.pem | openssl md5 与 openssl pkey -pubout -in key.pem | openssl md5。据 OpenSSL 官方文档,-checkend 的参数单位是秒,因此 30 天 = 2592000。

第 4 步:接入监控并按比例分级阈值

固定写死”30 天告警”在换 CA 后必然失效——90 天证书和 398 天商业证书的容错空间完全不同。统一按「剩余天数 ÷ 总有效期」换算:

证书来源 典型总有效期 warning critical 换算比例
Let’s Encrypt 90 天 30 天 7 天 1/3、1/13
商业 CA 398 天(CA/B Forum 上限) 45 天 21 天 ≈1/9、≈1/19
自签内网 按实际填写 剩余 1/3 剩余 1/10 1/3、1/10

blackbox_exporter 只暴露绝对到期时间 probe_ssl_earliest_cert_expiry,总有效期需由采集脚本以标签注入(如 cert_total_days):

- alert: TLSCertExpiringRatio
  expr: |
    (probe_ssl_earliest_cert_expiry - time()) / 86400
      / on(instance, job) group_left() cert_total_days < 0.33
  for: 1h
  labels:
    severity: warning

第 5 步:告警路由与续期闭环

告警至少走两条通道(如钉钉 + PagerDuty),并且”续期失败”必须独立成一条规则——它和”证书快到期”是两种不同的故障。续期侧在 Let’s Encrypt 官方推荐做法里,用 deploy-hook 把重载动作绑在续期成功之后:

certbot renew --dry-run                     # 先验证续期链路
certbot renew --deploy-hook "systemctl reload nginx"

# 确认定时器 active,且 NEXT 在 12 小时内(certbot 默认每天跑两次)
systemctl list-timers certbot.timer

若 NEXT 显示 n/a 或 ACTIVATES 非 active,说明定时器没起来,此时所有阈值都不会被触发。

三、可直接复制的检测命令与监控配置示例

要判断一台机器上几十上百个域名谁先到期,最省事的办法不是装监控系统,而是一条能跑通的 shell 循环。下面这条命令在 OpenSSL 3.0.13(Ubuntu 24.04 默认)和 1.1.1w(Debian 11 / CentOS 7 回移植版)上都能直接执行,无需任何额外依赖:

# hosts.txt 每行一个域名,如 example.com
# -servername 必须带:多域名共用 IP 时,缺少 SNI 会拿到默认站点证书,导致检测结果指向错误域名
# timeout 10:防止对端握手挂死拖垮整个巡检
for h in $(cat hosts.txt); do
  end=$(echo | timeout 10 openssl s_client -connect "$h:443" -servername "$h" 2>/dev/null 
        | openssl x509 -noout -enddate | cut -d= -f2)
  # GNU date 才支持 -d;macOS 需先 brew install coreutils 改用 gdate
  days=$(( ( $(date -d "$end" +%s) - $(date +%s) ) / 86400 ))
  printf '%st%st%sn' "$h" "$end" "$days"
done | sort -k3 -n   # 按剩余天数升序,第一行就是最紧急的证书

注意 openssl x509 -enddate 的输出形如 notAfter=Mar 1 12:00:00 2026 GMT,cut -d= -f2 取的是冒号后的时间串;若域名连接失败,end 为空,date -d "" 会报 date: invalid date '',此时该行 days 为负数,反而会被排到最前面,正好提醒你这条记录需要人工复核。

只查叶子证书是不够的。Let’s Encrypt 的叶子证书有效期 90 天,但中间证书(如 R3 / E1)有效期更长,一旦中间证书到期而叶子证书还很”新”,浏览器照样报 NET::ERR_CERT_AUTHORITY_INVALID。用下面这条命令把 fullchain 里每张证书的 Not After 逐条打印出来核对:

# fullchain.pem 为 certbot 产出的证书链文件,路径通常在 /etc/letsencrypt/live/<域名>/fullchain.pem
openssl crl2pkcs7 -nocrl -certfile fullchain.pem 
  | openssl pkcs7 -print_certs -noout -text 
  | grep -E 'Subject:|Not After'

把检测结果接入 Prometheus 时,blackbox_exporter 0.25.0 的模块配置如下(timeout 模块级默认 10s,insecure_skip_verify 默认 false,保持 false 才能同时验证证书可信性):

# blackbox.yml
modules:
  https_cert:
    prober: http
    timeout: 10s
    http:
      preferred_ip_protocol: ip4
      tls_config:
        insecure_skip_verify: false   # 改为 true 会跳过链校验,只剩到期时间可用

探测地址为 http://127.0.0.1:9115/probe?target=https://example.com&module=https_cert,抓取间隔建议 6h 以上——证书到期是慢变量,高频探测只会浪费时序存储。告警侧按 severity 路由,warning 与 critical 两条规则共用同一表达式:

- alert: SSLCertExpiringSoon
  expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 21   # critical 版改为 < 7
  for: 10m
  labels:
    severity: warning
  annotations:
    summary: "{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天"

0.22.0 及以上版本还会输出 probe_ssl_last_chain_expiry_timestamp_seconds,配合它可以覆盖链上所有证书,弥补 probe_ssl_earliest_cert_expiry 只反映叶子证书的盲区。

方案 部署成本 链上证书 适用场景
shell + openssl 循环 零依赖 需手动跑 crl2pkcs7 临时盘点、上线前验收
blackbox_exporter 0.25.0 需常驻 exporter + Prometheus 0.22+ 支持 已有 Prometheus 体系
check_ssl_cert 2.75 monitoring-plugins 生态 支持 --check-chain Nagios / Icinga 现网
Zabbix agent 2(5.0+) 内置键值,无需插件 需自行解析 JSON 已有 Zabbix 环境

Nagios/Icinga 侧用 monitoring-plugins 的 check_ssl_cert 2.75,返回值 0/1/2 直接对接现有通知体系,无需再部署 exporter:

check_ssl_cert --host example.com --port 443 --sni --warning 30 --critical 14

Zabbix 5.0 及以上用 agent 2 的 web.certificate.get[example.com,443] 键值返回 JSON,再用依赖项取出 expiry 字段做触发器即可。最后别忘了续期链路本身的验证——据 Let’s Encrypt 文档,--dry-run 使用 staging 环境模拟签发,不会消耗速率限制,适合按季度演练:

# --cert-name 精确指定证书,避免 renew 时误伤同机其他域名
# --deploy-hook 在续期成功后才执行,失败不会触发重载
certbot renew --dry-run --cert-name example.com --deploy-hook "systemctl reload nginx"

dry-run 全绿并不代表真实续期一定成功,还要确认 /etc/letsencrypt/renewal/example.com.conf 里的 authenticator 与 80/443 端口放行策略在生产环境一致——这是证书到期检测里最容易被跳过、也最容易在凌晨告警时暴露的一环。

四、方案选型对比:脚本、插件、Prometheus、Zabbix 与 SaaS 怎么选

选型不是比谁功能多,而是先明确三个硬指标:是否校验完整证书链、是否支持自定义 SNI、告警是否支持分级与静默窗口。只验证「TCP 握手成功」的工具,在中间证书过期和 SNI 误配这两类故障上会直接漏报——它们照样返回 probe_success 1,因为握手本身是成功的。

方案 部署成本 覆盖范围 告警能力 适用规模
openssl + Shell 脚本 约 1 人日 任意 TCP 端口、可内网 需自行对接钉钉/邮件 50 个域名以内
check_ssl_cert 2.75 约 0.5 人日 HTTP/LDAP/SMTP/XMPP 复用 Nagios/Icinga 通知 已有 Nagios 的团队
blackbox_exporter 0.25 约 2 人日 HTTP/HTTPS/TCP/ICMP Alertmanager 分级路由 50 到 5000 个目标
Zabbix 6.0+ 约 2 人日 HTTP/HTTPS 触发器 + 告警升级 已有 Zabbix 的团队
商业 SaaS 证书监控 约 0.2 人日 仅公网域名 自带多通道通知 多团队、对外服务

已有 Prometheus 体系的团队,优先 blackbox_exporter。证书到期时间以时序指标 probe_ssl_earliest_cert_expiry(Unix 时间戳)落库,默认保留期下可留 90 天以上,能画剩余天数的下降趋势,也能和 probe_success、probe_duration_seconds 放在同一块看板,排查时不用在两套系统间切换。据 blackbox_exporter 0.25.0 官方 README,模块级 timeout 默认为 120s,探测频率高时应显式收紧:

# blackbox.yml —— blackbox_exporter 0.25.x
modules:
  https_cert:
    prober: http
    timeout: 10s                 # 默认 120s,按 30s 抓取间隔收紧,避免探测堆积
    http:
      preferred_ip_protocol: ip4
      tls_config:
        server_name: www.example.com        # 目标用 IP 探测时必须显式给 SNI
        ca_file: /etc/pki/internal-ca.pem   # 私有 CA 场景;缺省走系统信任库
# Prometheus 告警规则:剩余不足 14 天告警,持续 1h 才触发,避开轮换窗口的抖动
- alert: SSLCertExpiringSoon
  expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 14
  for: 1h
  labels:
    severity: warning
  annotations:
    summary: "{{ $labels.instance }} 证书将在 {{ $value | humanizeDuration }} 后过期"

纯内网、需要 STARTTLS 的场景,openssl 脚本最灵活。blackbox_exporter 的 TCP 探针虽在 0.25 版支持 tls: true 并产出证书指标,但只做裸 TLS 握手,对 LDAP 389、SMTP 25、IMAP 143 这类必须先协商 STARTTLS 的端口取不到证书;此时用 openssl s_client 手工采集最直接(示例含 SNI 与私有 CA 校验):

# 采集 LDAPS 证书到期时间;-servername 决定 SNI,-CAfile 决定链校验基准
echo | openssl s_client -connect 10.0.0.12:636 
  -servername ldap.internal 
  -CAfile /etc/pki/internal-ca.pem 
  -verify_return_error 2>/dev/null 
  | openssl x509 -noout -subject -enddate
# 输出示例:notAfter=Mar  1 00:00:00 2026 GMT
# 缺中间证书时报:verify error:num=21:unable to verify the first certificate
# SNI 与证书名不符时报:verify error:num=62:hostname mismatch

若已在用 Nagios/Icinga,check_ssl_cert 2.75 是最省事的一档,--sni 与 --ignore-sig-alg 可绕开老算法的误报:

check_ssl_cert --host www.example.com --port 443 --sni www.example.com 
  --warning 30 --critical 14 --ignore-sig-alg --timeout 10

Zabbix 6.0 起内置 Website certificate by Zabbix agent 2 模板,靠 web.certificate.get[<host>,<port>,<ssl>] 采集到期时间,告警升级链路开箱即用,适合已有 Zabbix 的团队复用现有值班表。

商业 SaaS 证书监控适合对外域名多、团队分散的情况,部署成本最低,但有两个边界必须提前讲清:它只能看到公网可达的入口证书,看不到回源证书与内网入口;且多数产品不支持自签 CA 的链校验(对应 RFC 6125 的主机名验证逻辑由厂商实现,不可配置)。因此内网仍要保留自建检测——据 Let’s Encrypt 文档,90 天有效期的证书建议在剩余 30 天前完成续期,内网证书同样适用这个节奏。

五、常见报错与排查清单(附真实错误信息)

浏览器提示证书过期,但 curl 访问正常,问题出在哪一层?通常问题在于你只检查了叶子证书(即站点自身的那张证书),而链上的中间证书没有一并检查。先看最典型的报错:

curl: (60) SSL certificate problem: certificate has expired
More details here: https://curl.se/docs/sslcerts.html

据 curl 官方文档,错误码 60 表示对端证书链验证失败,但真正过期的未必是站点证书。用 OpenSSL 1.1.1 / 3.x 通用命令把整条链拆下来逐张核对 notAfter(RFC 5280 定义的证书有效期上界):

# -showcerts 输出完整链;-servername 必带,否则 SNI 站点会拿到默认证书
openssl s_client -connect example.com:443 -servername example.com -showcerts /dev/null 
  | awk '/BEGIN CERTIFICATE/{n++} n{print > ("chain-" n ".pem")}'
# 逐张打印主题与到期时间,重点看第 2、3 张中间证书
for f in chain-*.pem; do echo "== $f"; openssl x509 -in "$f" -noout -subject -enddate; done

verify error:num=10 和 num=20 有什么区别?两者常在同一次输出里出现,但根因不同:

verify error 含义 典型根因与处置
num=10 certificate has expired 链上某张证书 notAfter 已过;按上一步逐张核对
num=20 unable to get local issuer certificate 缺中间证书,服务端未下发 fullchain.pem
num=9 certificate is not yet valid 客户端时钟偏慢,见下方 NTP 排查
num=62 hostname mismatch 证书 SAN 未覆盖该域名

注意 num=20 会让验证器无法走到“过期”这一步,所以先把 fullchain 补全,再谈续期,否则续期成功也会继续报错。末尾的 Verify return code: 10 (certificate has expired) 与 num 值一一对应,可直接用于脚本判断。

Go 服务报 x509: certificate has expired or is not yet valid: current time 2025-06-01T08:00:00Z is after 2025-05-30T23:59:59Z:读后半句的 is after,它对比的是本机时钟与证书时间。若服务器时间本身漂移,即使证书未到期也会报同一错误:

timedatectl status        # 看 "System clock synchronized: yes"
chronyc tracking          # 看 "Leap status : Normal" 与 System time 偏移量

Java 报 java.security.cert.CertificateExpiredException: NotAfter: Fri May 30 23:59:59 UTC 2025:说明 JKS/PKCS12 里导入的仍是旧证书,文件系统上的新证书没生效:

keytool -list -v -keystore server.jks | grep -E 'Alias name|Valid from'

核对 Valid from 后重新导入并重启进程——Java 只在启动时加载 keystore。

浏览器报 NET::ERR_CERT_DATE_INVALID,但命令行看证书是新的?典型的多节点 CDN 只刷新了部分边缘节点。取多个 IP 逐个比对:

for ip in $(dig +short example.com | head -5); do
  echo "== $ip"; openssl s_client -connect "$ip:443" -servername example.com /dev/null 
    | openssl x509 -noout -enddate
done

certbot 侧三类高频失败(certbot 2.x):

  • DNS problem: NXDOMAIN looking up A for example.com:A/AAAA 记录缺失或解析未生效,HTTP-01 无法回源。
  • too many failed authorizations recently:据 Let’s Encrypt 官方限流文档,同一账号对同一主机名每小时失败验证上限为 5 次,触发后需等待窗口滚动。
  • Problem binding to port 80: Could not bind to IPv4 or IPv6:nginx 已占用 80 端口,standalone 模式必然失败,改用 certbot certonly --webroot -w /var/www/html -d example.com 或 --nginx 插件。

把上述命令固化成日常巡检脚本,比事后排查更省事——这也是证书到期检测值得前置到监控层的原因:openssl s_client | openssl x509 -checkend 604800 返回非零即代表 7 天内到期,可直接接入告警。

六、如何验证证书到期检测真的生效

探针采到的 Unix 时间戳,和 openssl 看到的 Not After 对得上吗?

这是证书到期检测最容易被跳过的一步:指标存在不等于值正确。blackbox_exporter 0.16+ 输出的 probe_ssl_earliest_cert_expiry 是整条证书链中最早到期者的 Unix 秒时间戳,要拿它和线上真实证书交叉验证,而不是只看 Grafana 上“还剩 87 天”这类二次计算后的展示值。

# 1) 取探针值;9115 为 blackbox_exporter 默认端口,https_cert 模块需含 tls_config.insecure_skip_verify: true
curl -s 'http://127.0.0.1:9115/probe?target=https://example.com&module=https_cert' | grep probe_ssl_earliest_cert_expiry
# 输出示例:probe_ssl_earliest_cert_expiry 1.784102400e+09

# 2) 时间戳转可读时间(GNU coreutils;macOS/BSD 用 date -r <秒>)
date -d @1784102400 -u

# 3) 直连线上取 Not After 对照
echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null 
  | openssl x509 -noout -enddate
# 输出示例:notAfter=Jun 15 12:00:00 2026 GMT

两者换算后误差应 ≤60 秒。若同一 target 的 probe_success 为 0,说明 TLS 握手本身失败,此时的 expiry 值不可信,应先排查 SNI、端口与中间证书链(参考 OpenSSL s_client 文档中的 -servername 语义)。

把阈值改到必然触发,能在 for 到期后收到告警吗?

Prometheus 的判定要等满 for,再叠加抓取与规则评估周期。全局 evaluation_interval 默认 1m,下面这条规则最快约 11 分钟才进入 firing,改完别急着下结论。

# prometheus/rules/tls.yml
groups:
  - name: tls
    rules:
      - alert: SSLCertExpiringSoon
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 400   # 临时改 400 仅用于验证
        for: 10m                                                       # 默认 0s,生产建议 ≥10m 抗抖动
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天"

收到通知后立即改回真实阈值(如 21)。用 check_ssl_cert 旁路同理:check_ssl_cert -H example.com --warning 400 --critical 380,其 --warning/--critical 单位为天、默认值均为 0(即仅在已过期时告警)。据 Prometheus 官方文档,for 期间规则状态为 pending,只有持续满足才转 firing。

certbot renew –dry-run 通过,就代表续期闭环通了吗?

dry-run 只跑 ACME 流程、不写盘、不触发 deploy hook,且走 staging 环境,所以成功率不等于生产成功,但能挡住绝大多数失败原因。据 Let’s Encrypt 文档,dry-run 是上线前必须执行的自检。

certbot renew --dry-run --cert-name example.com
# 通过时必须看到:
# Congratulations, all simulated renewals succeeded:
#   /etc/letsencrypt/live/example.com/fullchain.pem (success)
# 失败时典型报错:
# Attempting to renew cert (example.com) from /etc/letsencrypt/renewal/example.com.conf
#   produced an unexpected error: Failed authorization procedure...

systemctl list-timers certbot.timer --no-pager
# NEXT 应在 12 小时内;LAST 为空说明 timer 从未触发过(需 systemctl enable --now certbot.timer)

certbot 官方 snap 包的 timer 为 OnCalendar=*-*-* 00,12:00:00 并叠加 RandomizedDelaySec,因此 NEXT 落在 12 小时内是正常判据。

续期成功但 Nginx 还在发旧证书,怎么确认?

nginx -t && nginx -s reload            # -t 失败时禁止 reload,会保持旧配置旧证书
ss -tlnp | grep ':443'
ps -o lstart= -p $(pgrep -o nginx)   # 对比重载前后 master 启动时间

echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null 
  | openssl x509 -noout -dates       # notBefore 应变为新证书签发日

关键点:nginx -s reload 是平滑重载,master PID 不变,所以不能用 PID 判断是否生效,只能看 notBefore 或 ps -o lstart。证书到期检测链路里这一环最常断——文件换了、进程没重载。

怎么知道还有多少资产没被纳入证书到期检测?

nmap -Pn -p 443 --open -oG - 10.0.0.0/24 | awk '//open/{print $2}' | sort > /tmp/scan.txt
curl -s 'http://127.0.0.1:9090/api/v1/query' 
  --data-urlencode 'query=count by (instance)(probe_ssl_earliest_cert_expiry)' 
  | jq -r '.data.result[].metric.instance' | sort > /tmp/monitored.txt
diff /tmp/scan.txt /tmp/monitored.txt | grep '^<' | wc -l   # 未纳管数量,占比 >5% 即需补录
验证项 通过判据 典型失败信号
采集值 探针时间戳与 notAfter 误差 ≤60s probe_success 0,指标为无效握手结果
告警链路 阈值放大后 for 到期收到通知 Alertmanager 路由或静默吞掉告警
续期闭环 dry-run 输出 all simulated renewals succeeded,timer NEXT ≤12h LAST 为空,timer 未 enable
热重载 s_client 的 notBefore 为新签发日 只换文件未 reload
覆盖度 diff 漏纳管 <5% 安全组或内网段未被扫到

建议每季度执行一次上述 diff,并把清单按 域名t到期时间t剩余天数 落盘保留 90 天以上,事后才能回溯“到期前是否真的告过警”,而不是依赖 Grafana 的时间序列保留期。

七、证书有效期缩到 47 天后,检测策略要提前改什么

问:SC-081 到底改了什么?为什么固定「提前 7 天告警」会失效?

据 CA/Browser Forum 的 SC-081 提案(Let’s Encrypt、DigiCert 等 CA 共同推动),公信证书的最长有效期与「证书数据复用期」(reuse period,即同一组域名+密钥可复用验证数据的天数)将分三步压缩。复用期从 825 天骤降到 10 天,意味着自动化验证不能再靠「一次验证吃两年」:

生效日期 最长有效期 数据复用期 对检测的影响
当前(2025) 398 天 825 天 年检一次即可
2026-03-15 200 天 200 天 每 6~7 个月签发一次
2027-03-15 100 天 100 天 每 3 个月签发一次
2029-03-15 47 天 10 天 每 6 周签发一次,验证数据几乎不可复用

问题在于:固定 7 天阈值是相对 90 天证书设计的(约占寿命 8%)。证书缩到 47 天后,7 天只剩 15% 寿命,而签发频率却翻了近一倍——一次 certbot renew 失败就可能直接撞上过期。正确做法是按剩余寿命比例告警:warning 取剩余寿命的 1/3,critical 取 1/6。47 天证书对应约 15.7 天和 7.8 天,90 天证书对应 30 天和 15 天,都比固定 7 天更早介入。

问:Prometheus 里怎么写出「按比例」的规则?

关键是要拿到证书的 notBefore 才能算出总寿命。blackbox_exporter 只暴露 probe_ssl_earliest_cert_expiry(绝对过期时间戳),算不出比例;用 ribbybibby/ssl_exporter(v2.x)的 ssl_cert_not_before / ssl_cert_not_after(单位:Unix 秒)即可:

# prometheus.yml —— 抓取间隔从默认 1m 放宽到 15m 不够,这里是从 1h 收紧到 15m
scrape_configs:
  - job_name: ssl-exporter
    scrape_interval: 15m        # 47 天证书下,1h 间隔的检测盲区可达 1/1128 寿命,15m 更稳
    static_configs:
      - targets: ['ssl-exporter:9219']

# rules/cert-expiry.yml
groups:
  - name: cert-expiry
    rules:
      # 剩余寿命占比 < 1/3 → warning(47 天证书约剩 15.7 天)
      - alert: CertExpiryWarning
        expr: |
          (ssl_cert_not_after - time()) / (ssl_cert_not_after - ssl_cert_not_before) < 0.3333
        for: 15m
        labels: { severity: warning }
        annotations:
          summary: "{{ $labels.instance }} 证书剩余寿命不足 1/3"
      # 剩余寿命占比 < 1/6 → critical(47 天证书约剩 7.8 天)
      - alert: CertExpiryCritical
        expr: |
          (ssl_cert_not_after - time()) / (ssl_cert_not_after - ssl_cert_not_before) < 0.1667
        for: 15m
        labels: { severity: critical }

问:签发侧的时间参数也要跟着改吗?

要。certbot 的 renew_before_expiry 默认值是 30 days,对 47 天证书相当于签发后第 17 天就开始续期,会白白消耗 CA 速率配额。同时确认 timer 仍是每天两次、带 12 小时随机抖动:

# /etc/letsencrypt/cli.ini —— 把续期提前量压到寿命的约 1/3
renew_before_expiry = 15 days

# 核对 timer 默认值(Debian/Ubuntu 的 certbot 包)
systemctl cat certbot.timer
# 期望看到:OnCalendar=*-*-* 00/12:00:00 与 RandomizedDelaySec=43200(12h)
systemctl list-timers certbot.timer

# acme.sh 用户:确认每日 cron 已安装(默认 "0 0 * * *")
acme.sh --cron --home ~/.acme.sh

问:OCSP 停了以后,哪些告警该删、哪些该加?

据 Let’s Encrypt 官方公告,其 OCSP 响应服务已于 2025 年停止并转向 CRL,因此 probe_ssl_ocsp_stapling 一类的 stapling 告警会退化成纯噪音。检测重心应收缩到三项:证书链完整性、CT 日志收录、到期时间。链完整性可以用一行命令替代 OCSP 探测:

# 用中间证书验证叶证书,退出码非 0 即链不完整
openssl verify -untrusted /etc/letsencrypt/live/example.com/chain.pem 
               /etc/letsencrypt/live/example.com/cert.pem
# 期望输出:cert.pem: OK

问:怎么把「签发成功率」也纳入监控?

47 天周期下,续期窗口只有约 6 周,两次连续失败就必须人工介入。建议记录每次 dry-run 的结果与耗时,并盯住 ACME 速率限制——Let’s Encrypt 的公开限制是每注册域名每周 50 张证书、每账户每 3 小时 300 个新订单、每账户每主机名每小时 5 次验证失败:

# 记录 dry-run 结果与耗时,交给 node_exporter textfile collector
/usr/bin/time -f "%e" certbot renew --dry-run >> /var/log/certbot-dryrun.log 2>&1
echo "certbot_dryrun_exit $(echo $?)" > /var/lib/node_exporter/textfile/certbot.prom
# 连续两次失败即告警:increase(certbot_dryrun_failures_total[7d]) >= 2

按剩余寿命比例设置比固定天数更稳:90 天的 Let's Encrypt 证书建议剩余 30 天 warning、剩余 7 天 critical;398 天的商业证书建议剩余 45 天 warning、剩余 21 天 critical。未来证书缩到 47 天时,阈值应改为剩余 1/3 与 1/6 寿命,即约 15 天和 7 天。

openssl s_client 拿到的是服务端实际下发的完整证书链,可以直接用 `openssl x509 -noout -dates` 读出 Not After,还能配合 `-showcerts` 检查中间证书。curl 只反映握手是否成功,需要加 `-v` 才能看到 `expire date`,而且脚本里一旦用了 `-k` 就会跳过校验,过期证书也返回 200,是最常见的漏报来源。

常见有三种:一是客户端系统时间错误,报 `NET::ERR_CERT_DATE_INVALID` 但服务端证书没问题;二是链上中间证书过期,只查叶子证书看不出来;三是 CDN 多边缘节点或多 A 记录只同步了部分节点,监控恰好探测到已更新的那一台。用 `dig +short` 拿全部 IP 逐个 `openssl s_client -connect IP:443 -servername 域名` 比对即可定位。

已有 Prometheus 体系就选 blackbox_exporter 0.25,`probe_ssl_earliest_cert_expiry` 可以保留 90 天以上历史并做趋势告警,适合 50 到 5000 个目标。已有 Nagios/Icinga 且不想新增组件,用 check_ssl_cert 2.75 一行 `–host –port –sni –warning 30 –critical 14` 就能接入现有通知链路,部署成本约半天。

return code 10 表示校验链中有证书已过期,先用 `openssl s_client -connect host:443 -servername host -showcerts` 输出全部证书,逐张看 Not After,多数情况是中间证书过期而非站点证书。确认后向 CA 重新下载完整 fullchain 替换,并执行 `nginx -t && nginx -s reload` 让进程加载新证书。

说明续期只写了文件、没有重载进程。检查是否配置了 `–deploy-hook "systemctl reload nginx"`,多实例部署时每台机器都要重载;Kubernetes 环境还要确认 Ingress Controller 已同步新的 Secret。用 `echo | openssl s_client -connect 域名:443 -servername 域名 2>/dev/null | openssl x509 -noout -dates` 对比 notBefore 是否已是新证书时间。

blackbox_exporter 的 TCP 探针取不到证书信息,需要用 openssl 脚本按端口逐个采集,例如 `openssl s_client -connect 10.0.0.12:636 -servername ldap.internal -CAfile internal-ca.pem`。自签场景必须显式指定 `-CAfile` 或用 `-verify_return_error`,否则校验会因找不到信任锚而误报,掩盖真正的过期问题。


本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。

内容审核

长期从事 SSL/TLS 证书部署与 HTTPS 运维,负责本站证书选型、安装配置与故障排查内容的编写与审核。