跳到主要内容
基础知识

SSL 证书到期提醒怎么做?从资产盘点、五级告警到 certbot 与 Prometheus 落地的完整指南

SSL证书到期提醒 — SSL 证书到期提醒怎么做?从资产盘点、五级告警到 certbot 与 Prometheus 落地的完整指南
核心结论

SSL 证书到期提醒的核心,是把线上证书的 notAfter 变成一条可查询的数值指标,再按 30/14/7/3/1 天五级阈值路由告警;采集可用 openssl x509 -checkend 或 Prometheus blackbox_exporter 的 probe_ssl_earliest_cert_expiry,而不是靠人工看 Excel。 Let's Encrypt 证书有效期 90 天,certbot 2.x 默认由 certbot.timer 每天 00:00 与 12:00 触发(RandomizedDelaySec=43200),只在剩余 30 天内才真正续期,因此 30 天提醒等于只剩 1/3 生命周期可用于排障。 Apple 自 2020-09-01 起要求 TLS 服务器证书有效期不超过 398 天,CA/Browser Forum SC-081 计划 2026-03-15 起降到 200 天、2027-03-15 起 100 天、2029-03-15 起 47 天,提醒提前量需要随之调整。 内网自签与 mTLS 证书用 blackbox_exporter 探不到,改用 zabbix-agent2 的 web.certificate.get[host,443] 或脚本 + node_exporter textfile collector,暴露为 cert_expiry_timestamp_seconds 后统一告警。 「即将过期」和「续期失败」要分开告警:续期失败发生得更早、更可行动,建议在 deploy-hook 与 /var/log/letsencrypt/letsencrypt.log 上各加一条失败通知。

证书为什么总在半夜过期?先看清 5 个根本原因

问:证书为什么总在半夜过期?因为绝大多数“过期”根本不是忘了续期,而是续期失败后没有任何出口——失败信息只落在一个没人看的日志里,等到浏览器报警时,告警链路和排障时间已经一起归零。先把下面 5 个根因逐个排掉,比再加一个日历提醒有用得多。

原因一:certbot 由 systemd timer 静默触发,失败只写日志。Debian/Ubuntu 的 certbot 包默认安装 certbot.timer,每天触发两次 certbot renew(带随机延迟,避免 CA 端峰值);失败时既不写 syslog 也不发邮件,只写 /var/log/letsencrypt/letsencrypt.log。所以第一件事不是配置 SSL 证书到期提醒,而是确认续期任务到底有没有在跑、上次成功是什么时候:

# 1) timer 是否存在、下次何时触发(apt 安装为 certbot.timer,snap 安装为 snap.certbot.renew.timer)
systemctl list-timers --all | grep -i certbot

# 2) 看 timer 真正拉起的命令与超时设置(certbot 1.x 及以上通用)
systemctl cat certbot.service | grep -E 'ExecStart|TimeoutStartSec'

# 3) 最近一次续期结果:失败原因全在这份日志里
grep -E 'error|Failed authorization|renewal failed' /var/log/letsencrypt/letsencrypt.log | tail -n 20

# 4) 不消耗生产速率限制地演练一次,把隐藏的验证失败提前 30 天暴露出来
certbot renew --dry-run --cert-name example.com

据 Let’s Encrypt 文档,ACME 授权失败最常见的是三类:80/443 端口不可达(防火墙、CDN 回源、安全组变更)、DNS 记录在签发前被改动、CAA 记录不允许该 CA。它们在“人工月检”的节奏里几乎必然漏过。真实报错长这样,看到就该立刻查网络和 DNS,而不是重跑:

urn:ietf:params:acme:error:connection :: Fetching http://example.com/.well-known/acme-challenge/xxx: Timeout during connect
urn:ietf:params:acme:error:caa :: CAA record for example.com prevents issuance

原因二:证书来源分散,台账从第一天就失真。一个中型站点通常同时存在 5 类来源。用 Excel 按“签发日期 + 90 天”推算到期日,与证书真实的 notAfter 经常差 1–3 天(Let’s Encrypt 的 notBefore/notAfter 精确到秒且为 UTC,跨时区再差一天),而这个误差足以让提醒落在过期之后。

来源 典型场景 台账易错点 可靠采集方式
Let’s Encrypt DV 官网、博客、API 域名 用签发日 +90 天推算,忽略实际签发时刻 openssl s_client 读 notAfter
ZeroSSL / Buypass 等 ACME 免费多域名、通配符 ACME 账号分散在多台机器 账号级 API 批量拉取
DigiCert / Sectigo OV 支付、企业门户 人工 CSR,证书与私钥不同步 CA 门户导出 + 工单留痕
云厂商托管证书 ALB、CDN、API 网关 控制台“已托管”≠ 已绑定到监听器 云 API(如 AWS ACM / 阿里云 CAS)
内网自签与 K8s ingress 内部服务、mTLS 有效期常 1–10 年,最容易遗忘 kubectl get secret + 证书解析

不要推算,直接读线上证书——这是唯一不会撒谎的资产来源:

# -servername 必须显式给出,否则 SNI 虚拟主机可能返回默认证书(OpenSSL 1.1.1 / 3.x 行为一致)
echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null 
  | openssl x509 -noout -issuer -dates -ext subjectAltName
# notBefore=Mar  1 00:00:00 2026 GMT
# notAfter=May 30 23:59:59 2026 GMT

原因三:有效期持续缩短,提醒窗口被动压缩。Let’s Encrypt 是 90 天;Apple 自 2020-09-01 起要求 TLS 服务器证书不超过 398 天;CA/Browser Forum 的 SC-081 计划分三步降到 47 天。按 90 天计算,提前 30 天提醒时只剩 1/3 生命周期可用于排障。

时间点 单张 TLS 服务器证书最长有效期 依据
现行(Let’s Encrypt) 90 天 Let’s Encrypt 文档
2020-09-01 起 398 天 Apple Support(HT211025)
2026-03-15 起 200 天 CA/Browser Forum SC-081
2027-03-15 起 100 天 CA/Browser Forum SC-081
2029-03-15 起 47 天 CA/Browser Forum SC-081

结论是:提醒阈值不能写死 30 天,必须按“剩余天数 ÷ 总有效期”的比例触发,否则 47 天证书一签发就进入告警期,告警本身失去区分度。

原因四:过期后果可量化,且没有宽限期。RFC 5280 §4.1.2.5 规定客户端只校验 notBefore/notAfter,不设任何容忍窗口,所以“差几秒”也照样失败。常见客户端的真实输出:

  • Chrome / Edge:NET::ERR_CERT_DATE_INVALID,且不允许用户点“继续访问”
  • curl:curl: (60) SSL certificate problem: certificate has expired
  • Go:x509: certificate has expired or is not yet valid: current time 2026-05-31T02:14:07Z is after 2026-05-30T23:59:59Z
  • Android okhttp:javax.net.ssl.SSLHandshakeException,App 侧往往只上报一个泛化错误码

原因五:还有一类“假到期”。服务器时钟漂移会触发 notBefore 校验失败,报 certificate is not yet valid;容器基础镜像缺 ca-certificates 则报 x509: certificate signed by unknown authority。两者都表现为“昨天还好好的”,且最难复现——因为问题不在证书,而在运行环境。

# 时钟漂移排查:System clock synchronized 必须为 yes,NTP service 为 active
timedatectl status
# 更精细的偏差值(chrony):System time 一行是秒级偏移,Leap status 应为 Normal
chronyc tracking

# 容器内“假过期”最常见原因:根证书库缺失
docker run --rm alpine:3.20 ls -l /etc/ssl/certs/ca-certificates.crt
# ls: /etc/ssl/certs/ca-certificates.crt: No such file or directory
# 修复:Dockerfile 中加 apk add --no-cache ca-certificates(Debian 系为 apt-get install -y ca-certificates)

这 5 个根因里,只有第 3 个是“时间问题”,其余 4 个都是“可观测性问题”。所以下一节要做的不是设日历,而是先把资产盘点和续期失败出口建起来——这正是 SSL 证书到期提醒真正的落点。

SSL 证书到期提醒怎么落地?6 步从盘点做到告警闭环

问:这套闭环要投入多少人日?一次性约 4.5 人日,之后每季度 1 小时演练。跳过第 1、2 步,后面的 SSL 证书到期提醒只会变成一堆对不上号的噪音告警。

第 1 步(0.5 人日)资产盘点。先从 Web 配置里抓证书路径,再去云负载均衡、CDN 控制台和 K8s Ingress 补齐——控制台上的证书经常不在服务器上,是最容易漏的一类。

# nginx / Apache 配置中的证书路径(-E 保证 | 生效)
grep -rE 'ssl_certificate|SSLCertificateFile' /etc/nginx /etc/apache2 2>/dev/null

# K8s Ingress 引用的 TLS Secret,补齐容器侧资产
kubectl get ingress -A -o yaml | grep -i secretName

产出「域名-端口-证书路径-来源-负责人」五列清单,负责人一栏必须有真实姓名或值班组,否则告警无人认领。

第 2 步(0.5 人日)建唯一数据源。两份 Excel 必然互相矛盾。把清单放进 Git 仓库的 YAML,变更走 MR 评审;not_after 由采集任务回写,禁止手填。

# certs/prod.yaml —— 唯一数据源
- domain: api.example.com
  port: 443
  source: acme          # acme | commercial | selfsigned
  not_after: 2025-09-12T08:00:00Z   # 采集回写,勿手改
  last_renew: ok        # ok | failed
  owner: infra-oncall
  channel: pagerduty

第 3 步(1 人日)采集到期时间。公网直接读对端证书的 notAfter(RFC 5280 定义为 UTC 时间),内网用 agent 探针。

# 公网:OpenSSL 1.1.1+ 均可,-servername 是 SNI 必需项
openssl s_client -connect api.example.com:443 -servername api.example.com /dev/null 
  | openssl x509 -noout -enddate

# 内网:zabbix-agent2 内置键值(Zabbix 5.0+)
zabbix_get -s 10.0.0.12 -k 'web.certificate.get[10.0.0.12,443]'

Prometheus 侧用 blackbox_exporter 的 probe_ssl_earliest_cert_expiry(0.16+ 以秒级 Unix 时间戳暴露),采集频率公网 5–15 分钟、内网 1 小时足够,压到秒级没有收益。

第 4 步(0.5 人日)定阈值与路由。按剩余天数分五级,级别不同通道不同:

剩余天数 动作 通道
≤30 记录、跟续期任务 日报群
≤14 开自动化运维工单 工单系统
≤7 升级值班 值班手机(IM)
≤3 人工介入排查 电话
≤1 应急,准备手动换证 电话 + 主管
# prometheus rules:注意 $value 是过期时间戳,需减 time()
- alert: SSLCertExpiringSoon
  expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
  for: 10m
  labels: {severity: warning}
  annotations: {summary: "{{ $labels.instance }} 证书即将过期"}

务必再加一条「续期失败」告警(如 certbot 退出码非 0 或 last_renew=failed):它比「即将过期」发生得早得多,也更可行动。

第 5 步(1 人日)接自动续期并挂钩子。据 Let’s Encrypt 官方文档,certbot 续期成功后会依次执行 /etc/letsencrypt/renewal-hooks/deploy/ 下的可执行脚本,钩子必须幂等、10 秒内跑完。

#!/bin/sh
# /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh
set -e
nginx -t && systemctl reload nginx          # 先校验再重载,失败不落脏配置
logger -t cert-hook "reload after renewal: $RENEWED_LINEAGE"

# acme.sh 等价写法
# acme.sh --install-cert -d example.com --reloadcmd "systemctl reload nginx"

第 6 步(每季度 1 小时)演练与 runbook。在测试域名上真跑一遍「签发-替换-重载-回滚」,目标是收到告警到恢复 15 分钟内完成。

certbot certonly --webroot -w /var/www/html -d test.example.com --dry-run
cp /etc/nginx/ssl/test.pem /etc/nginx/ssl/test.pem.bak    # 回滚备份
# ...替换证书后...
nginx -t && systemctl reload nginx
openssl s_client -connect test.example.com:443 /dev/null | openssl x509 -noout -dates

具体怎么配?openssl、certbot、blackbox_exporter 命令与配置示例

单域名采集最直接的办法是「握手 + 解析」两条管道串起来,一次拿到 subject / issuer / notBefore / notAfter:

# -servername 触发 SNI,缺省时多域名服务器可能返回默认站点证书,导致查错对象
# 2>/dev/null 只屏蔽握手噪音,排查问题时建议先去掉看完整输出
openssl s_client -connect sslgood.com:443 -servername sslgood.com -showcerts </dev/null 2>/dev/null 
  | openssl x509 -noout -subject -issuer -dates
# 输出示例(OpenSSL 3.0.x)
# subject=CN = sslgood.com
# issuer=C = US, O = Let's Encrypt, CN = R11
# notBefore=Jun  3 00:00:00 2025 GMT
# notAfter=Aug 31 23:59:59 2025 GMT

踩坑点:据 OpenSSL 3.x 手册页,3.0 起默认安全级别为 @SECLEVEL=2,要求 RSA 密钥 ≥ 2048 位、拒绝 SHA-1 签名,遇到老旧 RSA 1024 证书会直接报 sslv3 alert handshake failure。此时可显式降级:openssl s_client -connect old.example.com:443 -tls1_2 -cipher 'DEFAULT@SECLEVEL=1' </dev/null,或加 -cipher 'DEFAULT:@SECLEVEL=1'——仅用于探测,不要写进生产配置。

如果证书文件已在本地,用 -checkend 做阈值判断比解析文本可靠得多:

# 2592000 秒 = 30 天。退出码 0 表示 30 天后才到期,1 表示已进入 30 天窗口或已过期
openssl x509 -checkend 2592000 -noout -in /etc/nginx/ssl/fullchain.pem 
  || /usr/local/bin/notify.sh
# 写进 crontab(每天 09:00 检查一次)
0 9 * * * /usr/bin/openssl x509 -checkend 2592000 -noout -in /etc/nginx/ssl/fullchain.pem || /usr/local/bin/notify.sh

要点是只看退出码,不解析 notAfter 文本——月份英文缩写、时区、格式在 OpenSSL 各版本间并不完全一致,文本解析是最容易误报的来源。

certbot 2.x 的续期由 systemd timer 驱动,据 Let’s Encrypt 文档,certbot.timer 每天触发两次并带随机延迟,避免全网同时打 ACME 接口:

certbot renew --quiet --deploy-hook 'systemctl reload nginx'   # 仅真正续期成功后才 reload
certbot certificates                                            # 查看托管证书与到期日
systemctl list-timers certbot.timer                             # OnCalendar=*-*-* 00,12:00:00;RandomizedDelaySec=43200
tail -f /var/log/letsencrypt/letsencrypt.log

大规模场景用 blackbox_exporter 0.25.0 主动探测,抓取目标直接写 https://域名,它会自动产生 probe_ssl_earliest_cert_expiry(Unix 秒,取链上最早到期的那张):

# blackbox.yml
modules:
  https_2xx:
    prober: http
    timeout: 5s
    tls_config:
      insecure_skip_verify: false   # 生产必须 false,否则中间人替换证书无法被发现

# prometheus.yml 片段:instance 标签被重写为真实 URL,便于告警里直接引用
- job_name: 'blackbox-tls'
  metrics_path: /probe
  params: { module: [https_2xx] }
  static_configs:
    - targets: ['https://sslgood.com', 'https://www.sslgood.com']
  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - source_labels: [__param_target]
      target_label: instance
    - target_label: __address__
      replacement: 127.0.0.1:9115

告警规则按「天」换算,分两级、走不同 receiver,避免所有 SSL 证书到期提醒挤进同一个群:

groups:
- name: tls
  rules:
  - alert: SSLCertExpiringSoon
    expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
    for: 1h
    labels: { severity: warning }
    annotations:
      summary: "{{ $labels.instance }} 证书 {{ $value | printf "%.1f" }} 天后到期"
  - alert: SSLCertExpiringCritical
    expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 7
    for: 10m
    labels: { severity: critical }

用 acme.sh 3.x 托管证书的,续期与通知一条命令闭环,据 acme.sh wiki,通知钩子在续期失败时立即发信:

acme.sh --install-cert -d example.com 
  --key-file       /etc/nginx/ssl/example.key 
  --fullchain-file /etc/nginx/ssl/example.crt 
  --reloadcmd      'systemctl reload nginx'

export SMTP_FROM=ops@example.com SMTP_TO=oncall@example.com
export SMTP_HOST=smtp.example.com SMTP_PORT=587 SMTP_SECURE=tls
export SMTP_USERNAME=ops@example.com SMTP_PASSWORD='***'
acme.sh --set-notify --notify-hook mail
方案 检测对象 是否需要网络 典型延迟 适用规模
openssl s_client 线上实际下发证书 是 秒级 临时排查、单域名
openssl x509 -checkend 本地证书文件 否 毫秒级 cron + 单机
certbot certificates certbot 托管清单 否 秒级 Let’s Encrypt 存量
blackbox_exporter 线上证书 + 可用性 是 抓取间隔(默认 15s) 数十至数千域名
acme.sh 通知钩子 续期结果 否 续期触发时 多 CA、轻量部署

选型逻辑:本地文件检查只能证明「文件快过期」,不能证明「线上正下发这张证书」——反代、CDN、负载均衡都可能让实际证书与磁盘文件不一致,所以生产环境应以 blackbox_exporter 的黑盒探测为主,openssl 命令作为故障复现工具,两者覆盖的故障域不同。

自建脚本、Prometheus 还是商业平台?5 种方案参数对比表

选型不用先比功能清单,先回答两个问题:证书在哪、告警之后谁动手。下面这张表把五类方案的参数摊开,后面再讲怎么用两条判断标准砍掉不合适的选项。

方案 典型工具与版本 覆盖范围 提前量/精度 年成本区间 适用场景
ACME 客户端钩子 certbot 2.11、acme.sh 3.0.9 仅本机 ACME 证书 剩余 30 天内触发,天级 0 元 单机、域名少于 20 个
黑盒拨测 Prometheus 2.5x + blackbox_exporter 0.25.0 公网可达的 443 端点 5–15 分钟采集一次 监控机约 50–200 元/月 已有 Prometheus 的团队
拨测面板/SaaS Uptime Kuma 1.23.x 公网,多节点视角 1–5 分钟 0–200 元/月/监控项 需要多地可用性视角
Agent 采集 Zabbix 6.4/7.0 + zabbix-agent2 内网 + 公网 1–60 分钟 0 元(已有 Zabbix) 有内网自签、mTLS 证书
商业证书管理平台 DigiCert CertCentral、Sectigo 全量含 OV/EV 天级 + 工单流转 数百到数千元/年 证书超过 50 张、有合规审计

第一条:证书在哪。公网 443 能被外部访问的,黑盒拨测最省事——它不依赖证书签发方式,甚至不关心你是不是用 Let’s Encrypt。内网、mTLS、自签证书只能靠 Agent 或脚本,blackbox_exporter 从外部探不到;硬探的结果不是”过期告警”,而是 probe_success=0,据 blackbox_exporter README 说明,此时其余探测指标一律不可信。

# blackbox.yml —— blackbox_exporter 0.25.0,重启后生效
modules:
  https_2xx:
    prober: http
    timeout: 5s
    http:
      preferred_ip_protocol: ip4
      tls_config:
        insecure_skip_verify: false   # 自签证书设 true,但会连带放弃链校验

# prometheus.yml 抓取段
scrape_configs:
  - job_name: blackbox_https
    metrics_path: /probe
    params: {module: [https_2xx]}
    static_configs:
      - targets: ['www.example.com', 'api.example.com:8443']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: 127.0.0.1:9115

# 告警规则:probe_ssl_earliest_cert_expiry 为秒级 Unix 时间戳
groups:
  - name: ssl_expiry
    rules:
      - alert: SSLCertExpiring30Days
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30 and probe_success == 1
        for: 1h
        labels: {severity: warning}
        annotations:
          summary: '{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天'

注意 and probe_success == 1 这一句:探测失败时该指标会整体缺失而非归零,缺了它,端口被封的那台机器会安静地”没有告警”,比误报更危险。

第二条:告警之后谁动手。只有 1–2 台机器,certbot 钩子加邮件足够。certbot 的 deploy 钩子仅在成功续期后执行(区别于每次运行都跑的 post 钩子),据 Let’s Encrypt 文档,证书有效期 90 天、官方建议在剩余 30 天时续期,certbot 的 --days 默认值正是 30。

#!/bin/sh
# /etc/letsencrypt/renewal-hooks/deploy/notify.sh —— certbot 2.11,需 chmod +x
# $RENEWED_LINEAGE 形如 /etc/letsencrypt/live/example.com
DOMAIN=$(basename "$RENEWED_LINEAGE")
EXP=$(openssl x509 -in "$RENEWED_LINEAGE/fullchain.pem" -noout -enddate | cut -d= -f2)
echo "$DOMAIN 已续期,新到期时间:$EXP" | mail -s "[SSL] $DOMAIN renewed" ops@example.com

超过 20 张证书、多人值班,就必须有工单与升级链路,否则 30 天一次的低频告警很容易被长期静音。

成本结构。开源方案的主要成本是人力(首次搭建约 1–2 人日)和一台 1C2G 监控机;商业平台按证书数量计价,OV/EV 单张年费通常在数百到数千元区间,DV 证书则便宜得多。最常见的组合是”ACME 钩子负责自动修,黑盒拨测负责独立验证”,但两者不要复用同一套凭证与同一台机器——端口被封、磁盘写满这类根因,会让续期和监控同时失声。

告警没响或续期失败?6 个真实报错与排查路径

证书到期提醒的告警链路搭好之后,真正让人头疼的是”为什么该续的没续上”。下面这 6 个报错在 certbot 与 ACME 场景里出现频率最高,每个都给出可直接复制的排查命令。据 Let’s Encrypt 官方文档,速率限制与验证失败是工单量最大的两类问题。

1. Problem binding to port 80: Could not bind to IPv4 or IPv6. 这是 --standalone 插件无法监听 80 端口,因为 Nginx/Apache 已经占用了。先确认占用进程:

# 确认 80 端口被谁占用(适用:主流 Linux,ss 来自 iproute2)
ss -lntp | grep :80
# 输出示例:
# LISTEN 0 511 0.0.0.0:80 0.0.0.0:* users:(("nginx",pid=1201,fd=6))

# 方案 A:改用 webroot 插件,让 Nginx 继续对外服务
certbot certonly --webroot -w /var/www/html -d example.com

# 方案 B:直接用 nginx 插件,由 certbot 自动改配置并 reload
certbot --nginx -d example.com

2. Timeout during connect (likely firewall problem). ACME 服务器回连 80/443 失败。常见原因有三:安全组未放行、CDN 回源不落地、AAAA 记录指向不可达的 IPv6。先用外网视角验证:

# 从公网机器执行,验证 challenge 路径是否可达
curl -I http://example.com/.well-known/acme-challenge/test
# 若超时,改走 DNS-01 验证,完全绕开 80/443
certbot certonly --preferred-challenges dns -d example.com

3. too many certificates already issued for exact set of domains. 触发 Let’s Encrypt 速率限制:每个注册域名每周 50 张。据 Let’s Encrypt 速率限制文档,排障阶段必须用 staging 环境,否则一周额度会被试光:

# --dry-run 只走 staging,不签发正式证书
certbot renew --dry-run

# 或显式指定 staging 目录(默认生产目录为 acme-v02)
certbot certonly --server https://acme-staging-v02.api.letsencrypt.org/directory -d example.com

4. curl: (60) SSL certificate problem: certificate has expired / error 10 at 0 depth lookup: certificate expired. 多半不是叶证书过期,而是中间证书过期或服务端只发了叶证书。用 openssl s_client 看整条链:

# -showcerts 打印服务端发送的全部证书
openssl s_client -connect example.com:443 -servername example.com -showcerts </dev/null
# 逐张核对有效期
openssl crl2pkcs7 -nocrl -certfile /etc/letsencrypt/live/example.com/fullchain.pem 
  | openssl pkcs7 -print_certs -noout

修复方式是把 ssl_certificate 指向包含中间证书的 fullchain.pem,而不是 cert.pem。

5. certificate is not yet valid. 服务器或客户端时钟漂移。据 RFC 5280,证书有效性判断完全依赖本地时间,偏移超过 5 分钟就该先修时间:

timedatectl status          # 关注 "NTP synchronized: yes"
chronyc tracking            # 看 "Last offset",单位秒
# 强制立即校准
chronyc makestep

6. deploy-hook 失败导致 systemd 显示 failed。 钩子返回非 0 会让 certbot 整体退出码非 0,但证书其实已签发成功。把重载逻辑写成带 set -e 的独立脚本并单独记日志,再用 certbot certificates 核对 notAfter 判断是否真失败:

certbot certificates | grep -E "Certificate Name|Expiry Date"
报错 根因层级 首选排查命令 修复方向
Problem binding to port 80 端口占用 ss -lntp | grep :80 换 webroot / nginx 插件
Timeout during connect 网络可达性 curl -I .../acme-challenge/test 放行端口或改 DNS-01
too many certificates 速率限制 certbot renew --dry-run 切 staging 环境
certificate has expired 证书链不全 openssl s_client -showcerts 改用 fullchain.pem
not yet valid 时钟漂移 chronyc tracking NTP 校准
deploy-hook 非 0 钩子脚本 certbot certificates 脚本加 set -e 与日志

这 6 类问题覆盖了 SSL 证书到期提醒从”告警没响”到”响了但续不上”的主要路径。把每条报错与上文的五级告警阈值对应起来,才能在证书真正过期前完成闭环。

告警规则写完不等于告警生效。实践中失效点通常不在规则本身,而在三个地方:证书文件已更新但 Nginx 没有 reload,线上仍是旧证书;certbot.timer 早已停摆,却没人察觉;Alertmanager 里一条历史静默把新告警全部抑制。下面 5 项检查按“文件 → 线上 → 续期 → 告警 → 演练”的顺序逐层收敛,任何一层不通过,都不能认为 SSL 证书到期提醒已经可用。

检查点 核心命令 通过判据 典型失败原因
证书文件余量 openssl x509 -checkend 退出码 0 退出码 1,已进入 14 天窗口
线上实际证书 openssl s_client 与文件 notAfter 一致 未 reload,进程加载旧证书
续期链路 systemctl list-timers NEXT 在未来,且 7 天内有成功记录 timer 未 enable 或 webroot 权限失效
告警链路 PromQL 阈值改小 5–10 分钟内收到通知 静默、group_wait、SMTP 被限流
采集自身 curl /probe probe_success=1 探测失败导致到期指标为 NaN

1. 文件侧:证书还有多少余量。OpenSSL 文档中 x509 -checkend 的语义是“若证书将在指定秒数内过期则返回 1,否则返回 0”,1209600 秒正好 14 天,与多数团队的续期窗口对齐:

# 退出码 0 = 距到期仍有超过 14 天余量;1 = 已进入 14 天窗口或已过期
openssl x509 -checkend 1209600 -noout -in /etc/nginx/ssl/fullchain.pem; echo $?

# 查看绝对到期时间,便于人工复核
openssl x509 -noout -enddate -in /etc/nginx/ssl/fullchain.pem
# notAfter=Jul 18 03:12:44 2025 GMT

2. 线上侧:Nginx 到底在发哪张证书。文件对不代表服务对,必须走一次真实握手并带上 SNI(多域名共用 IP 时缺 -servername 会拿到默认站点证书):

openssl s_client -connect sslgood.com:443 -servername sslgood.com /dev/null 
  | openssl x509 -noout -enddate
# 与上一步 notAfter 不一致 → 需要 systemctl reload nginx

3. 续期链路:certbot 是否真的在跑。据 Let’s Encrypt 文档,证书有效期 90 天、官方建议在剩余 30 天时续期,certbot 默认即在到期前 30 天触发,因此“最近一次运行成功”比“证书还没过期”更有意义:

# 看下一次触发时间与上次执行时间(Debian/Ubuntu 使用 systemd timer)
systemctl list-timers certbot.timer
# NEXT                         LEFT     LAST                         PASSED  UNIT
# Wed 2025-07-09 03:14:00 UTC  6h left  Tue 2025-07-08 03:14:02 UTC  18h ago certbot.timer

journalctl -u certbot.service --since -7d | tail -n 20
certbot certificates   # 输出中的 VALID / EXPIRY DATE 是最终依据

4. 告警链路:主动制造一次告警。把 PromQL 临时改成“剩余小于 200 天”这种必然成立的条件,等待 5–10 分钟,钉钉或邮件应收到通知,确认后立即改回:

# 修改前先确认没有历史静默在吞告警
amtool --alertmanager.url=http://alertmanager:9093 alert query
amtool --alertmanager.url=http://alertmanager:9093 silence query
# 默认地址为 http://localhost:9093,未指定时连本机

5. 采集侧:最容易漏掉的自检。用 blackbox_exporter 抓指标时,注意 /metrics 只保留最近一次探测结果、易被覆盖,应直接打 /probe 端点:

curl -s 'http://monitor:9115/probe?target=sslgood.com&module=https_2xx' 
  | grep -E 'probe_ssl_earliest_cert_expiry|probe_success'
# probe_ssl_earliest_cert_expiry 1.7528e+09
# probe_success 1

# 告警表达式:剩余不足 14 天
probe_ssl_earliest_cert_expiry - time() < 86400 * 14

关键在于:probe_success 为 0 时,probe_ssl_earliest_cert_expiry 根本不会产生样本,表达式恒为 NaN 而不触发——监控自身挂掉却无人知晓。因此必须单独配置一条 probe_success == 0 的“探测失败”告警,或使用 absent(probe_ssl_earliest_cert_expiry) 兜底。

最后做一次端到端演练,用 1 天有效期的自签证书把整条链路跑通,并记录从触发到工单派发再到处理完成的实际耗时:

openssl req -x509 -newkey rsa:2048 -days 1 -nodes 
  -subj '/CN=test.local' -keyout /tmp/test.key -out /tmp/test.crt

把它挂到测试站点后,用第 1、2 步命令应得到退出码 1,用第 5 步应看到 probe_ssl_earliest_cert_expiry 与 time() 之差小于 86400,此时告警应在 group_wait(Alertmanager 默认 30s)加抓取间隔内送达。

证书提醒还能带出什么?与 OCSP Stapling、证书链、HSTS 的联动

续期成功了,为什么还要盯着 OCSP Stapling?因为每次换发证书,证书里的 OCSP 响应者地址和序列号都会变,Nginx 缓存的旧响应立即作废。如果只写了 ssl_stapling on; 却漏掉 resolver,Nginx 根本解析不了 OCSP 响应者域名,stapling 会静默失效——日志里没有任何报错,只有客户端能看到。据 Nginx 官方文档,ssl_stapling 与 ssl_stapling_verify 默认均为 off,且 stapling 依赖 resolver 指令(默认未配置)。完整可用配置(nginx ≥ 1.3.7,ssl_stapling_verify 需 ≥ 1.3.7 并配合 ssl_trusted_certificate):

server {
    listen 443 ssl;
    server_name example.com;

    ssl_certificate           /etc/letsencrypt/live/example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/example.com/privkey.pem;
    ssl_trusted_certificate   /etc/letsencrypt/live/example.com/chain.pem;  # 校验 OCSP 响应签名,必填

    ssl_stapling on;            # 默认 off
    ssl_stapling_verify on;     # 默认 off,开启后校验响应签名
    resolver 223.5.5.5 1.1.1.1 valid=300s;   # 默认无 resolver,缺省则 stapling 不生效
    resolver_timeout 5s;
}

验证是否真的生效:

echo | openssl s_client -connect example.com:443 -servername example.com -status 2>/dev/null 
  | grep -E "OCSP Response Status|OCSP response: no response sent"
# 期望输出:OCSP Response Status: successful (0x0)
# 若输出 "OCSP response: no response sent",说明 stapling 未生效

Must-Staple 为什么比过期更难查?用 certbot --must-staple 签发的证书带 TLS Feature: status_request 扩展(RFC 7633),客户端被明确告知“没收到 stapled 响应就别连”。一旦 stapling 因换证书后 resolver 变更或防火墙拦截 OCSP 出站而失败,Firefox 会直接终止连接,浏览器里看不到“证书已过期”这种可理解的提示。先用命令确认扩展是否存在:

openssl x509 -in /etc/letsencrypt/live/example.com/cert.pem -noout -text | grep -A0 "TLS Feature"
# 输出 TLS Feature: status_request 即表示启用了 Must-Staple

只部署 leaf 证书会怎样?部分 Android 旧版本与 Java 客户端不预置 Let’s Encrypt 中间证书,握手直接失败,典型报错是 sun.security.validator.ValidatorException: PKIX path building failed 或 curl: (60) unable to get local issuer certificate。用 -showcerts 数张数即可自查,正常应为 2–3 张(leaf + 中间证书,根证书可选):

echo | openssl s_client -connect example.com:443 -servername example.com -showcerts 2>/dev/null 
  | grep -c "BEGIN CERTIFICATE"
# 返回 1 → 只发了 leaf,Android/Java 可能握手失败
# 返回 2 或 3 → 链路完整(Let's Encrypt 的 fullchain.pem 已含中间证书)

HSTS 会把“证书过期”放大成全站不可用吗?会。响应头 Strict-Transport-Security: max-age=31536000 生效期间,浏览器连“继续访问(不安全)”的按钮都不给点,证书一过期就是硬中断。据 RFC 6797,策略以 max-age 秒数计时,无法远程撤销。建议灰度:

# 阶段一:先给 5 分钟,验证 certbot 续期 + reload 链路稳定
add_header Strict-Transport-Security "max-age=300" always;
# 阶段二(连续观察 2–3 个续期周期无异常后)再拉长
# add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;

CAA 配错为什么会在到期前 30 天才暴露?因为 certbot 只在续期窗口(到期前 30 天)才真正向 Let’s Encrypt 发起签发。CAA 记录(RFC 8659)若没放行签发 CA,ACME 返回 urn:ietf:params:acme:error:caa: CAA record for example.com prevents issuance,此时你只剩一个月。提前核对:

dig CAA example.com +short
# 期望:0 issue "letsencrypt.org"
# 换 CA 或新增子域时同步更新,否则续期静默失败

为什么要把证书塞进统一的资产到期日历?因为漏掉的往往不是 TLS 证书,而是同一批“隐形到期日”。放进一个看板,比每类资产各建一套提醒更不容易漏,也方便做年度预算:

资产类型 典型有效期 建议提醒提前量 自查命令
公网 TLS 证书(Let’s Encrypt) 90 天 30/21/14/7/1 天五级 certbot certificates
域名注册 1–10 年 60 天 whois example.com | grep -i expiry
HSTS 预加载 无固定到期,需年度复核 每年一次 在 hstspreload.org 查询域名状态
代码签名证书 1–3 年 90 天 openssl pkcs12 -in code.p12 -nokeys -clcerts | openssl x509 -noout -enddate

把上面两条自查命令固化进探针即可闭环:blackbox_exporter 的 probe_ssl_earliest_cert_expiry 指标可直接喂给 Prometheus 告警规则,openssl s_client -status 的输出则适合做成每日 cron 巡检,让“证书快到期”和“stapling 已失效”这两类问题在同一张看板上同时暴露。

需要。certbot 与 acme.sh 只能保证「尝试续期」,不能保证「续期成功」,端口被封、DNS 改动、CAA 不匹配、速率限制都会让续期静默失败。提醒应监控线上实际证书的 notAfter,而不是只看续期任务有没有被执行。

按证书有效期的 1/3 设置:90 天证书提前 30 天,398 天证书提前 30-45 天,再叠加 14/7/3/1 天四级升级。若 CA/B Forum 的 47 天方案正式生效,提前量要同步压缩到 15 天左右。

常见三种原因:告警采集的是旧 IP 或旧 CDN 节点上的证书;Nginx 没有 reload,仍在用旧证书;只替换了 leaf 证书而没有替换 fullchain.pem。用 openssl s_client 取线上指纹,再和 certbot certificates 里的路径逐项比对即可定位。

Uptime Kuma 1.23.x 部署快,自带证书到期提醒与多种通知渠道,适合 50 个监控点以内、没有 Prometheus 的团队。blackbox_exporter 0.25.0 的优势是能和 Alertmanager 路由、静默、长期存储打通,适合已有 Prometheus 体系的团队。

用 zabbix-agent2 的 web.certificate.get[host,443] 取 expiry 字段,或写脚本调用 openssl x509 -checkend,通过 node_exporter 的 textfile collector 暴露为 cert_expiry_timestamp_seconds,再统一走 Prometheus 告警规则。

说明 80 端口被 Nginx 或 Apache 占用,certbot 的 standalone 模式无法监听。先 ss -lntp | grep :80 确认占用进程,再改用 –webroot -w 站点根目录或 –nginx 插件;如果 80 端口对外不可达,直接改用 DNS-01 验证。

按「端点」采集、按「证书序列号」聚合。同一张 SAN 证书部署在 20 个域名上,按域名会产生 20 条重复告警;用 probe_ssl_earliest_cert_expiry 配合序列号标签去重,同时保留域名标签便于定位具体受影响站点。


本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。

内容审核

长期从事 SSL/TLS 证书部署与 HTTPS 运维,负责本站证书选型、安装配置与故障排查内容的编写与审核。