SSL 证书到期提醒怎么做?从资产盘点、五级告警到 certbot 与 Prometheus 落地的完整指南
SSL 证书到期提醒的核心,是把线上证书的 notAfter 变成一条可查询的数值指标,再按 30/14/7/3/1 天五级阈值路由告警;采集可用 openssl x509 -checkend 或 Prometheus blackbox_exporter 的 probe_ssl_earliest_cert_expiry,而不是靠人工看 Excel。 Let's Encrypt 证书有效期 90 天,certbot 2.x 默认由 certbot.timer 每天 00:00 与 12:00 触发(RandomizedDelaySec=43200),只在剩余 30 天内才真正续期,因此 30 天提醒等于只剩 1/3 生命周期可用于排障。 Apple 自 2020-09-01 起要求 TLS 服务器证书有效期不超过 398 天,CA/Browser Forum SC-081 计划 2026-03-15 起降到 200 天、2027-03-15 起 100 天、2029-03-15 起 47 天,提醒提前量需要随之调整。 内网自签与 mTLS 证书用 blackbox_exporter 探不到,改用 zabbix-agent2 的 web.certificate.get[host,443] 或脚本 + node_exporter textfile collector,暴露为 cert_expiry_timestamp_seconds 后统一告警。 「即将过期」和「续期失败」要分开告警:续期失败发生得更早、更可行动,建议在 deploy-hook 与 /var/log/letsencrypt/letsencrypt.log 上各加一条失败通知。
证书为什么总在半夜过期?先看清 5 个根本原因
问:证书为什么总在半夜过期?因为绝大多数“过期”根本不是忘了续期,而是续期失败后没有任何出口——失败信息只落在一个没人看的日志里,等到浏览器报警时,告警链路和排障时间已经一起归零。先把下面 5 个根因逐个排掉,比再加一个日历提醒有用得多。
原因一:certbot 由 systemd timer 静默触发,失败只写日志。Debian/Ubuntu 的 certbot 包默认安装 certbot.timer,每天触发两次 certbot renew(带随机延迟,避免 CA 端峰值);失败时既不写 syslog 也不发邮件,只写 /var/log/letsencrypt/letsencrypt.log。所以第一件事不是配置 SSL 证书到期提醒,而是确认续期任务到底有没有在跑、上次成功是什么时候:
# 1) timer 是否存在、下次何时触发(apt 安装为 certbot.timer,snap 安装为 snap.certbot.renew.timer)
systemctl list-timers --all | grep -i certbot
# 2) 看 timer 真正拉起的命令与超时设置(certbot 1.x 及以上通用)
systemctl cat certbot.service | grep -E 'ExecStart|TimeoutStartSec'
# 3) 最近一次续期结果:失败原因全在这份日志里
grep -E 'error|Failed authorization|renewal failed' /var/log/letsencrypt/letsencrypt.log | tail -n 20
# 4) 不消耗生产速率限制地演练一次,把隐藏的验证失败提前 30 天暴露出来
certbot renew --dry-run --cert-name example.com
据 Let’s Encrypt 文档,ACME 授权失败最常见的是三类:80/443 端口不可达(防火墙、CDN 回源、安全组变更)、DNS 记录在签发前被改动、CAA 记录不允许该 CA。它们在“人工月检”的节奏里几乎必然漏过。真实报错长这样,看到就该立刻查网络和 DNS,而不是重跑:
urn:ietf:params:acme:error:connection :: Fetching http://example.com/.well-known/acme-challenge/xxx: Timeout during connecturn:ietf:params:acme:error:caa :: CAA record for example.com prevents issuance
原因二:证书来源分散,台账从第一天就失真。一个中型站点通常同时存在 5 类来源。用 Excel 按“签发日期 + 90 天”推算到期日,与证书真实的 notAfter 经常差 1–3 天(Let’s Encrypt 的 notBefore/notAfter 精确到秒且为 UTC,跨时区再差一天),而这个误差足以让提醒落在过期之后。
| 来源 | 典型场景 | 台账易错点 | 可靠采集方式 |
|---|---|---|---|
| Let’s Encrypt DV | 官网、博客、API 域名 | 用签发日 +90 天推算,忽略实际签发时刻 | openssl s_client 读 notAfter |
| ZeroSSL / Buypass 等 ACME | 免费多域名、通配符 | ACME 账号分散在多台机器 | 账号级 API 批量拉取 |
| DigiCert / Sectigo OV | 支付、企业门户 | 人工 CSR,证书与私钥不同步 | CA 门户导出 + 工单留痕 |
| 云厂商托管证书 | ALB、CDN、API 网关 | 控制台“已托管”≠ 已绑定到监听器 | 云 API(如 AWS ACM / 阿里云 CAS) |
| 内网自签与 K8s ingress | 内部服务、mTLS | 有效期常 1–10 年,最容易遗忘 | kubectl get secret + 证书解析 |
不要推算,直接读线上证书——这是唯一不会撒谎的资产来源:
# -servername 必须显式给出,否则 SNI 虚拟主机可能返回默认证书(OpenSSL 1.1.1 / 3.x 行为一致)
echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null
| openssl x509 -noout -issuer -dates -ext subjectAltName
# notBefore=Mar 1 00:00:00 2026 GMT
# notAfter=May 30 23:59:59 2026 GMT
原因三:有效期持续缩短,提醒窗口被动压缩。Let’s Encrypt 是 90 天;Apple 自 2020-09-01 起要求 TLS 服务器证书不超过 398 天;CA/Browser Forum 的 SC-081 计划分三步降到 47 天。按 90 天计算,提前 30 天提醒时只剩 1/3 生命周期可用于排障。
| 时间点 | 单张 TLS 服务器证书最长有效期 | 依据 |
|---|---|---|
| 现行(Let’s Encrypt) | 90 天 | Let’s Encrypt 文档 |
| 2020-09-01 起 | 398 天 | Apple Support(HT211025) |
| 2026-03-15 起 | 200 天 | CA/Browser Forum SC-081 |
| 2027-03-15 起 | 100 天 | CA/Browser Forum SC-081 |
| 2029-03-15 起 | 47 天 | CA/Browser Forum SC-081 |
结论是:提醒阈值不能写死 30 天,必须按“剩余天数 ÷ 总有效期”的比例触发,否则 47 天证书一签发就进入告警期,告警本身失去区分度。
原因四:过期后果可量化,且没有宽限期。RFC 5280 §4.1.2.5 规定客户端只校验 notBefore/notAfter,不设任何容忍窗口,所以“差几秒”也照样失败。常见客户端的真实输出:
- Chrome / Edge:
NET::ERR_CERT_DATE_INVALID,且不允许用户点“继续访问” - curl:
curl: (60) SSL certificate problem: certificate has expired - Go:
x509: certificate has expired or is not yet valid: current time 2026-05-31T02:14:07Z is after 2026-05-30T23:59:59Z - Android okhttp:
javax.net.ssl.SSLHandshakeException,App 侧往往只上报一个泛化错误码
原因五:还有一类“假到期”。服务器时钟漂移会触发 notBefore 校验失败,报 certificate is not yet valid;容器基础镜像缺 ca-certificates 则报 x509: certificate signed by unknown authority。两者都表现为“昨天还好好的”,且最难复现——因为问题不在证书,而在运行环境。
# 时钟漂移排查:System clock synchronized 必须为 yes,NTP service 为 active
timedatectl status
# 更精细的偏差值(chrony):System time 一行是秒级偏移,Leap status 应为 Normal
chronyc tracking
# 容器内“假过期”最常见原因:根证书库缺失
docker run --rm alpine:3.20 ls -l /etc/ssl/certs/ca-certificates.crt
# ls: /etc/ssl/certs/ca-certificates.crt: No such file or directory
# 修复:Dockerfile 中加 apk add --no-cache ca-certificates(Debian 系为 apt-get install -y ca-certificates)
这 5 个根因里,只有第 3 个是“时间问题”,其余 4 个都是“可观测性问题”。所以下一节要做的不是设日历,而是先把资产盘点和续期失败出口建起来——这正是 SSL 证书到期提醒真正的落点。
SSL 证书到期提醒怎么落地?6 步从盘点做到告警闭环
问:这套闭环要投入多少人日?一次性约 4.5 人日,之后每季度 1 小时演练。跳过第 1、2 步,后面的 SSL 证书到期提醒只会变成一堆对不上号的噪音告警。
第 1 步(0.5 人日)资产盘点。先从 Web 配置里抓证书路径,再去云负载均衡、CDN 控制台和 K8s Ingress 补齐——控制台上的证书经常不在服务器上,是最容易漏的一类。
# nginx / Apache 配置中的证书路径(-E 保证 | 生效)
grep -rE 'ssl_certificate|SSLCertificateFile' /etc/nginx /etc/apache2 2>/dev/null
# K8s Ingress 引用的 TLS Secret,补齐容器侧资产
kubectl get ingress -A -o yaml | grep -i secretName
产出「域名-端口-证书路径-来源-负责人」五列清单,负责人一栏必须有真实姓名或值班组,否则告警无人认领。
第 2 步(0.5 人日)建唯一数据源。两份 Excel 必然互相矛盾。把清单放进 Git 仓库的 YAML,变更走 MR 评审;not_after 由采集任务回写,禁止手填。
# certs/prod.yaml —— 唯一数据源
- domain: api.example.com
port: 443
source: acme # acme | commercial | selfsigned
not_after: 2025-09-12T08:00:00Z # 采集回写,勿手改
last_renew: ok # ok | failed
owner: infra-oncall
channel: pagerduty
第 3 步(1 人日)采集到期时间。公网直接读对端证书的 notAfter(RFC 5280 定义为 UTC 时间),内网用 agent 探针。
# 公网:OpenSSL 1.1.1+ 均可,-servername 是 SNI 必需项
openssl s_client -connect api.example.com:443 -servername api.example.com /dev/null
| openssl x509 -noout -enddate
# 内网:zabbix-agent2 内置键值(Zabbix 5.0+)
zabbix_get -s 10.0.0.12 -k 'web.certificate.get[10.0.0.12,443]'
Prometheus 侧用 blackbox_exporter 的 probe_ssl_earliest_cert_expiry(0.16+ 以秒级 Unix 时间戳暴露),采集频率公网 5–15 分钟、内网 1 小时足够,压到秒级没有收益。
第 4 步(0.5 人日)定阈值与路由。按剩余天数分五级,级别不同通道不同:
| 剩余天数 | 动作 | 通道 |
| ≤30 | 记录、跟续期任务 | 日报群 |
| ≤14 | 开自动化运维工单 | 工单系统 |
| ≤7 | 升级值班 | 值班手机(IM) |
| ≤3 | 人工介入排查 | 电话 |
| ≤1 | 应急,准备手动换证 | 电话 + 主管 |
# prometheus rules:注意 $value 是过期时间戳,需减 time()
- alert: SSLCertExpiringSoon
expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
for: 10m
labels: {severity: warning}
annotations: {summary: "{{ $labels.instance }} 证书即将过期"}
务必再加一条「续期失败」告警(如 certbot 退出码非 0 或 last_renew=failed):它比「即将过期」发生得早得多,也更可行动。
第 5 步(1 人日)接自动续期并挂钩子。据 Let’s Encrypt 官方文档,certbot 续期成功后会依次执行 /etc/letsencrypt/renewal-hooks/deploy/ 下的可执行脚本,钩子必须幂等、10 秒内跑完。
#!/bin/sh
# /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh
set -e
nginx -t && systemctl reload nginx # 先校验再重载,失败不落脏配置
logger -t cert-hook "reload after renewal: $RENEWED_LINEAGE"
# acme.sh 等价写法
# acme.sh --install-cert -d example.com --reloadcmd "systemctl reload nginx"
第 6 步(每季度 1 小时)演练与 runbook。在测试域名上真跑一遍「签发-替换-重载-回滚」,目标是收到告警到恢复 15 分钟内完成。
certbot certonly --webroot -w /var/www/html -d test.example.com --dry-run
cp /etc/nginx/ssl/test.pem /etc/nginx/ssl/test.pem.bak # 回滚备份
# ...替换证书后...
nginx -t && systemctl reload nginx
openssl s_client -connect test.example.com:443 /dev/null | openssl x509 -noout -dates
具体怎么配?openssl、certbot、blackbox_exporter 命令与配置示例
单域名采集最直接的办法是「握手 + 解析」两条管道串起来,一次拿到 subject / issuer / notBefore / notAfter:
# -servername 触发 SNI,缺省时多域名服务器可能返回默认站点证书,导致查错对象
# 2>/dev/null 只屏蔽握手噪音,排查问题时建议先去掉看完整输出
openssl s_client -connect sslgood.com:443 -servername sslgood.com -showcerts </dev/null 2>/dev/null
| openssl x509 -noout -subject -issuer -dates
# 输出示例(OpenSSL 3.0.x)
# subject=CN = sslgood.com
# issuer=C = US, O = Let's Encrypt, CN = R11
# notBefore=Jun 3 00:00:00 2025 GMT
# notAfter=Aug 31 23:59:59 2025 GMT
踩坑点:据 OpenSSL 3.x 手册页,3.0 起默认安全级别为 @SECLEVEL=2,要求 RSA 密钥 ≥ 2048 位、拒绝 SHA-1 签名,遇到老旧 RSA 1024 证书会直接报 sslv3 alert handshake failure。此时可显式降级:openssl s_client -connect old.example.com:443 -tls1_2 -cipher 'DEFAULT@SECLEVEL=1' </dev/null,或加 -cipher 'DEFAULT:@SECLEVEL=1'——仅用于探测,不要写进生产配置。
如果证书文件已在本地,用 -checkend 做阈值判断比解析文本可靠得多:
# 2592000 秒 = 30 天。退出码 0 表示 30 天后才到期,1 表示已进入 30 天窗口或已过期
openssl x509 -checkend 2592000 -noout -in /etc/nginx/ssl/fullchain.pem
|| /usr/local/bin/notify.sh
# 写进 crontab(每天 09:00 检查一次)
0 9 * * * /usr/bin/openssl x509 -checkend 2592000 -noout -in /etc/nginx/ssl/fullchain.pem || /usr/local/bin/notify.sh
要点是只看退出码,不解析 notAfter 文本——月份英文缩写、时区、格式在 OpenSSL 各版本间并不完全一致,文本解析是最容易误报的来源。
certbot 2.x 的续期由 systemd timer 驱动,据 Let’s Encrypt 文档,certbot.timer 每天触发两次并带随机延迟,避免全网同时打 ACME 接口:
certbot renew --quiet --deploy-hook 'systemctl reload nginx' # 仅真正续期成功后才 reload
certbot certificates # 查看托管证书与到期日
systemctl list-timers certbot.timer # OnCalendar=*-*-* 00,12:00:00;RandomizedDelaySec=43200
tail -f /var/log/letsencrypt/letsencrypt.log
大规模场景用 blackbox_exporter 0.25.0 主动探测,抓取目标直接写 https://域名,它会自动产生 probe_ssl_earliest_cert_expiry(Unix 秒,取链上最早到期的那张):
# blackbox.yml
modules:
https_2xx:
prober: http
timeout: 5s
tls_config:
insecure_skip_verify: false # 生产必须 false,否则中间人替换证书无法被发现
# prometheus.yml 片段:instance 标签被重写为真实 URL,便于告警里直接引用
- job_name: 'blackbox-tls'
metrics_path: /probe
params: { module: [https_2xx] }
static_configs:
- targets: ['https://sslgood.com', 'https://www.sslgood.com']
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 127.0.0.1:9115
告警规则按「天」换算,分两级、走不同 receiver,避免所有 SSL 证书到期提醒挤进同一个群:
groups:
- name: tls
rules:
- alert: SSLCertExpiringSoon
expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
for: 1h
labels: { severity: warning }
annotations:
summary: "{{ $labels.instance }} 证书 {{ $value | printf "%.1f" }} 天后到期"
- alert: SSLCertExpiringCritical
expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 7
for: 10m
labels: { severity: critical }
用 acme.sh 3.x 托管证书的,续期与通知一条命令闭环,据 acme.sh wiki,通知钩子在续期失败时立即发信:
acme.sh --install-cert -d example.com
--key-file /etc/nginx/ssl/example.key
--fullchain-file /etc/nginx/ssl/example.crt
--reloadcmd 'systemctl reload nginx'
export SMTP_FROM=ops@example.com SMTP_TO=oncall@example.com
export SMTP_HOST=smtp.example.com SMTP_PORT=587 SMTP_SECURE=tls
export SMTP_USERNAME=ops@example.com SMTP_PASSWORD='***'
acme.sh --set-notify --notify-hook mail
| 方案 | 检测对象 | 是否需要网络 | 典型延迟 | 适用规模 |
|---|---|---|---|---|
openssl s_client |
线上实际下发证书 | 是 | 秒级 | 临时排查、单域名 |
openssl x509 -checkend |
本地证书文件 | 否 | 毫秒级 | cron + 单机 |
certbot certificates |
certbot 托管清单 | 否 | 秒级 | Let’s Encrypt 存量 |
| blackbox_exporter | 线上证书 + 可用性 | 是 | 抓取间隔(默认 15s) | 数十至数千域名 |
| acme.sh 通知钩子 | 续期结果 | 否 | 续期触发时 | 多 CA、轻量部署 |
选型逻辑:本地文件检查只能证明「文件快过期」,不能证明「线上正下发这张证书」——反代、CDN、负载均衡都可能让实际证书与磁盘文件不一致,所以生产环境应以 blackbox_exporter 的黑盒探测为主,openssl 命令作为故障复现工具,两者覆盖的故障域不同。
自建脚本、Prometheus 还是商业平台?5 种方案参数对比表
选型不用先比功能清单,先回答两个问题:证书在哪、告警之后谁动手。下面这张表把五类方案的参数摊开,后面再讲怎么用两条判断标准砍掉不合适的选项。
| 方案 | 典型工具与版本 | 覆盖范围 | 提前量/精度 | 年成本区间 | 适用场景 |
|---|---|---|---|---|---|
| ACME 客户端钩子 | certbot 2.11、acme.sh 3.0.9 | 仅本机 ACME 证书 | 剩余 30 天内触发,天级 | 0 元 | 单机、域名少于 20 个 |
| 黑盒拨测 | Prometheus 2.5x + blackbox_exporter 0.25.0 | 公网可达的 443 端点 | 5–15 分钟采集一次 | 监控机约 50–200 元/月 | 已有 Prometheus 的团队 |
| 拨测面板/SaaS | Uptime Kuma 1.23.x | 公网,多节点视角 | 1–5 分钟 | 0–200 元/月/监控项 | 需要多地可用性视角 |
| Agent 采集 | Zabbix 6.4/7.0 + zabbix-agent2 | 内网 + 公网 | 1–60 分钟 | 0 元(已有 Zabbix) | 有内网自签、mTLS 证书 |
| 商业证书管理平台 | DigiCert CertCentral、Sectigo | 全量含 OV/EV | 天级 + 工单流转 | 数百到数千元/年 | 证书超过 50 张、有合规审计 |
第一条:证书在哪。公网 443 能被外部访问的,黑盒拨测最省事——它不依赖证书签发方式,甚至不关心你是不是用 Let’s Encrypt。内网、mTLS、自签证书只能靠 Agent 或脚本,blackbox_exporter 从外部探不到;硬探的结果不是”过期告警”,而是 probe_success=0,据 blackbox_exporter README 说明,此时其余探测指标一律不可信。
# blackbox.yml —— blackbox_exporter 0.25.0,重启后生效
modules:
https_2xx:
prober: http
timeout: 5s
http:
preferred_ip_protocol: ip4
tls_config:
insecure_skip_verify: false # 自签证书设 true,但会连带放弃链校验
# prometheus.yml 抓取段
scrape_configs:
- job_name: blackbox_https
metrics_path: /probe
params: {module: [https_2xx]}
static_configs:
- targets: ['www.example.com', 'api.example.com:8443']
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- target_label: __address__
replacement: 127.0.0.1:9115
# 告警规则:probe_ssl_earliest_cert_expiry 为秒级 Unix 时间戳
groups:
- name: ssl_expiry
rules:
- alert: SSLCertExpiring30Days
expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 30 and probe_success == 1
for: 1h
labels: {severity: warning}
annotations:
summary: '{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天'
注意 and probe_success == 1 这一句:探测失败时该指标会整体缺失而非归零,缺了它,端口被封的那台机器会安静地”没有告警”,比误报更危险。
第二条:告警之后谁动手。只有 1–2 台机器,certbot 钩子加邮件足够。certbot 的 deploy 钩子仅在成功续期后执行(区别于每次运行都跑的 post 钩子),据 Let’s Encrypt 文档,证书有效期 90 天、官方建议在剩余 30 天时续期,certbot 的 --days 默认值正是 30。
#!/bin/sh
# /etc/letsencrypt/renewal-hooks/deploy/notify.sh —— certbot 2.11,需 chmod +x
# $RENEWED_LINEAGE 形如 /etc/letsencrypt/live/example.com
DOMAIN=$(basename "$RENEWED_LINEAGE")
EXP=$(openssl x509 -in "$RENEWED_LINEAGE/fullchain.pem" -noout -enddate | cut -d= -f2)
echo "$DOMAIN 已续期,新到期时间:$EXP" | mail -s "[SSL] $DOMAIN renewed" ops@example.com
超过 20 张证书、多人值班,就必须有工单与升级链路,否则 30 天一次的低频告警很容易被长期静音。
成本结构。开源方案的主要成本是人力(首次搭建约 1–2 人日)和一台 1C2G 监控机;商业平台按证书数量计价,OV/EV 单张年费通常在数百到数千元区间,DV 证书则便宜得多。最常见的组合是”ACME 钩子负责自动修,黑盒拨测负责独立验证”,但两者不要复用同一套凭证与同一台机器——端口被封、磁盘写满这类根因,会让续期和监控同时失声。
告警没响或续期失败?6 个真实报错与排查路径
证书到期提醒的告警链路搭好之后,真正让人头疼的是”为什么该续的没续上”。下面这 6 个报错在 certbot 与 ACME 场景里出现频率最高,每个都给出可直接复制的排查命令。据 Let’s Encrypt 官方文档,速率限制与验证失败是工单量最大的两类问题。
1. Problem binding to port 80: Could not bind to IPv4 or IPv6. 这是 --standalone 插件无法监听 80 端口,因为 Nginx/Apache 已经占用了。先确认占用进程:
# 确认 80 端口被谁占用(适用:主流 Linux,ss 来自 iproute2)
ss -lntp | grep :80
# 输出示例:
# LISTEN 0 511 0.0.0.0:80 0.0.0.0:* users:(("nginx",pid=1201,fd=6))
# 方案 A:改用 webroot 插件,让 Nginx 继续对外服务
certbot certonly --webroot -w /var/www/html -d example.com
# 方案 B:直接用 nginx 插件,由 certbot 自动改配置并 reload
certbot --nginx -d example.com
2. Timeout during connect (likely firewall problem). ACME 服务器回连 80/443 失败。常见原因有三:安全组未放行、CDN 回源不落地、AAAA 记录指向不可达的 IPv6。先用外网视角验证:
# 从公网机器执行,验证 challenge 路径是否可达
curl -I http://example.com/.well-known/acme-challenge/test
# 若超时,改走 DNS-01 验证,完全绕开 80/443
certbot certonly --preferred-challenges dns -d example.com
3. too many certificates already issued for exact set of domains. 触发 Let’s Encrypt 速率限制:每个注册域名每周 50 张。据 Let’s Encrypt 速率限制文档,排障阶段必须用 staging 环境,否则一周额度会被试光:
# --dry-run 只走 staging,不签发正式证书
certbot renew --dry-run
# 或显式指定 staging 目录(默认生产目录为 acme-v02)
certbot certonly --server https://acme-staging-v02.api.letsencrypt.org/directory -d example.com
4. curl: (60) SSL certificate problem: certificate has expired / error 10 at 0 depth lookup: certificate expired. 多半不是叶证书过期,而是中间证书过期或服务端只发了叶证书。用 openssl s_client 看整条链:
# -showcerts 打印服务端发送的全部证书
openssl s_client -connect example.com:443 -servername example.com -showcerts </dev/null
# 逐张核对有效期
openssl crl2pkcs7 -nocrl -certfile /etc/letsencrypt/live/example.com/fullchain.pem
| openssl pkcs7 -print_certs -noout
修复方式是把 ssl_certificate 指向包含中间证书的 fullchain.pem,而不是 cert.pem。
5. certificate is not yet valid. 服务器或客户端时钟漂移。据 RFC 5280,证书有效性判断完全依赖本地时间,偏移超过 5 分钟就该先修时间:
timedatectl status # 关注 "NTP synchronized: yes"
chronyc tracking # 看 "Last offset",单位秒
# 强制立即校准
chronyc makestep
6. deploy-hook 失败导致 systemd 显示 failed。 钩子返回非 0 会让 certbot 整体退出码非 0,但证书其实已签发成功。把重载逻辑写成带 set -e 的独立脚本并单独记日志,再用 certbot certificates 核对 notAfter 判断是否真失败:
certbot certificates | grep -E "Certificate Name|Expiry Date"
| 报错 | 根因层级 | 首选排查命令 | 修复方向 |
|---|---|---|---|
| Problem binding to port 80 | 端口占用 | ss -lntp | grep :80 |
换 webroot / nginx 插件 |
| Timeout during connect | 网络可达性 | curl -I .../acme-challenge/test |
放行端口或改 DNS-01 |
| too many certificates | 速率限制 | certbot renew --dry-run |
切 staging 环境 |
| certificate has expired | 证书链不全 | openssl s_client -showcerts |
改用 fullchain.pem |
| not yet valid | 时钟漂移 | chronyc tracking |
NTP 校准 |
| deploy-hook 非 0 | 钩子脚本 | certbot certificates |
脚本加 set -e 与日志 |
这 6 类问题覆盖了 SSL 证书到期提醒从”告警没响”到”响了但续不上”的主要路径。把每条报错与上文的五级告警阈值对应起来,才能在证书真正过期前完成闭环。
告警规则写完不等于告警生效。实践中失效点通常不在规则本身,而在三个地方:证书文件已更新但 Nginx 没有 reload,线上仍是旧证书;certbot.timer 早已停摆,却没人察觉;Alertmanager 里一条历史静默把新告警全部抑制。下面 5 项检查按“文件 → 线上 → 续期 → 告警 → 演练”的顺序逐层收敛,任何一层不通过,都不能认为 SSL 证书到期提醒已经可用。
| 检查点 | 核心命令 | 通过判据 | 典型失败原因 |
|---|---|---|---|
| 证书文件余量 | openssl x509 -checkend |
退出码 0 | 退出码 1,已进入 14 天窗口 |
| 线上实际证书 | openssl s_client |
与文件 notAfter 一致 |
未 reload,进程加载旧证书 |
| 续期链路 | systemctl list-timers |
NEXT 在未来,且 7 天内有成功记录 | timer 未 enable 或 webroot 权限失效 |
| 告警链路 | PromQL 阈值改小 | 5–10 分钟内收到通知 | 静默、group_wait、SMTP 被限流 |
| 采集自身 | curl /probe |
probe_success=1 |
探测失败导致到期指标为 NaN |
1. 文件侧:证书还有多少余量。OpenSSL 文档中 x509 -checkend 的语义是“若证书将在指定秒数内过期则返回 1,否则返回 0”,1209600 秒正好 14 天,与多数团队的续期窗口对齐:
# 退出码 0 = 距到期仍有超过 14 天余量;1 = 已进入 14 天窗口或已过期
openssl x509 -checkend 1209600 -noout -in /etc/nginx/ssl/fullchain.pem; echo $?
# 查看绝对到期时间,便于人工复核
openssl x509 -noout -enddate -in /etc/nginx/ssl/fullchain.pem
# notAfter=Jul 18 03:12:44 2025 GMT
2. 线上侧:Nginx 到底在发哪张证书。文件对不代表服务对,必须走一次真实握手并带上 SNI(多域名共用 IP 时缺 -servername 会拿到默认站点证书):
openssl s_client -connect sslgood.com:443 -servername sslgood.com /dev/null
| openssl x509 -noout -enddate
# 与上一步 notAfter 不一致 → 需要 systemctl reload nginx
3. 续期链路:certbot 是否真的在跑。据 Let’s Encrypt 文档,证书有效期 90 天、官方建议在剩余 30 天时续期,certbot 默认即在到期前 30 天触发,因此“最近一次运行成功”比“证书还没过期”更有意义:
# 看下一次触发时间与上次执行时间(Debian/Ubuntu 使用 systemd timer)
systemctl list-timers certbot.timer
# NEXT LEFT LAST PASSED UNIT
# Wed 2025-07-09 03:14:00 UTC 6h left Tue 2025-07-08 03:14:02 UTC 18h ago certbot.timer
journalctl -u certbot.service --since -7d | tail -n 20
certbot certificates # 输出中的 VALID / EXPIRY DATE 是最终依据
4. 告警链路:主动制造一次告警。把 PromQL 临时改成“剩余小于 200 天”这种必然成立的条件,等待 5–10 分钟,钉钉或邮件应收到通知,确认后立即改回:
# 修改前先确认没有历史静默在吞告警
amtool --alertmanager.url=http://alertmanager:9093 alert query
amtool --alertmanager.url=http://alertmanager:9093 silence query
# 默认地址为 http://localhost:9093,未指定时连本机
5. 采集侧:最容易漏掉的自检。用 blackbox_exporter 抓指标时,注意 /metrics 只保留最近一次探测结果、易被覆盖,应直接打 /probe 端点:
curl -s 'http://monitor:9115/probe?target=sslgood.com&module=https_2xx'
| grep -E 'probe_ssl_earliest_cert_expiry|probe_success'
# probe_ssl_earliest_cert_expiry 1.7528e+09
# probe_success 1
# 告警表达式:剩余不足 14 天
probe_ssl_earliest_cert_expiry - time() < 86400 * 14
关键在于:probe_success 为 0 时,probe_ssl_earliest_cert_expiry 根本不会产生样本,表达式恒为 NaN 而不触发——监控自身挂掉却无人知晓。因此必须单独配置一条 probe_success == 0 的“探测失败”告警,或使用 absent(probe_ssl_earliest_cert_expiry) 兜底。
最后做一次端到端演练,用 1 天有效期的自签证书把整条链路跑通,并记录从触发到工单派发再到处理完成的实际耗时:
openssl req -x509 -newkey rsa:2048 -days 1 -nodes
-subj '/CN=test.local' -keyout /tmp/test.key -out /tmp/test.crt
把它挂到测试站点后,用第 1、2 步命令应得到退出码 1,用第 5 步应看到 probe_ssl_earliest_cert_expiry 与 time() 之差小于 86400,此时告警应在 group_wait(Alertmanager 默认 30s)加抓取间隔内送达。
证书提醒还能带出什么?与 OCSP Stapling、证书链、HSTS 的联动
续期成功了,为什么还要盯着 OCSP Stapling?因为每次换发证书,证书里的 OCSP 响应者地址和序列号都会变,Nginx 缓存的旧响应立即作废。如果只写了 ssl_stapling on; 却漏掉 resolver,Nginx 根本解析不了 OCSP 响应者域名,stapling 会静默失效——日志里没有任何报错,只有客户端能看到。据 Nginx 官方文档,ssl_stapling 与 ssl_stapling_verify 默认均为 off,且 stapling 依赖 resolver 指令(默认未配置)。完整可用配置(nginx ≥ 1.3.7,ssl_stapling_verify 需 ≥ 1.3.7 并配合 ssl_trusted_certificate):
server {
listen 443 ssl;
server_name example.com;
ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
ssl_trusted_certificate /etc/letsencrypt/live/example.com/chain.pem; # 校验 OCSP 响应签名,必填
ssl_stapling on; # 默认 off
ssl_stapling_verify on; # 默认 off,开启后校验响应签名
resolver 223.5.5.5 1.1.1.1 valid=300s; # 默认无 resolver,缺省则 stapling 不生效
resolver_timeout 5s;
}
验证是否真的生效:
echo | openssl s_client -connect example.com:443 -servername example.com -status 2>/dev/null
| grep -E "OCSP Response Status|OCSP response: no response sent"
# 期望输出:OCSP Response Status: successful (0x0)
# 若输出 "OCSP response: no response sent",说明 stapling 未生效
Must-Staple 为什么比过期更难查?用 certbot --must-staple 签发的证书带 TLS Feature: status_request 扩展(RFC 7633),客户端被明确告知“没收到 stapled 响应就别连”。一旦 stapling 因换证书后 resolver 变更或防火墙拦截 OCSP 出站而失败,Firefox 会直接终止连接,浏览器里看不到“证书已过期”这种可理解的提示。先用命令确认扩展是否存在:
openssl x509 -in /etc/letsencrypt/live/example.com/cert.pem -noout -text | grep -A0 "TLS Feature"
# 输出 TLS Feature: status_request 即表示启用了 Must-Staple
只部署 leaf 证书会怎样?部分 Android 旧版本与 Java 客户端不预置 Let’s Encrypt 中间证书,握手直接失败,典型报错是 sun.security.validator.ValidatorException: PKIX path building failed 或 curl: (60) unable to get local issuer certificate。用 -showcerts 数张数即可自查,正常应为 2–3 张(leaf + 中间证书,根证书可选):
echo | openssl s_client -connect example.com:443 -servername example.com -showcerts 2>/dev/null
| grep -c "BEGIN CERTIFICATE"
# 返回 1 → 只发了 leaf,Android/Java 可能握手失败
# 返回 2 或 3 → 链路完整(Let's Encrypt 的 fullchain.pem 已含中间证书)
HSTS 会把“证书过期”放大成全站不可用吗?会。响应头 Strict-Transport-Security: max-age=31536000 生效期间,浏览器连“继续访问(不安全)”的按钮都不给点,证书一过期就是硬中断。据 RFC 6797,策略以 max-age 秒数计时,无法远程撤销。建议灰度:
# 阶段一:先给 5 分钟,验证 certbot 续期 + reload 链路稳定
add_header Strict-Transport-Security "max-age=300" always;
# 阶段二(连续观察 2–3 个续期周期无异常后)再拉长
# add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
CAA 配错为什么会在到期前 30 天才暴露?因为 certbot 只在续期窗口(到期前 30 天)才真正向 Let’s Encrypt 发起签发。CAA 记录(RFC 8659)若没放行签发 CA,ACME 返回 urn:ietf:params:acme:error:caa: CAA record for example.com prevents issuance,此时你只剩一个月。提前核对:
dig CAA example.com +short
# 期望:0 issue "letsencrypt.org"
# 换 CA 或新增子域时同步更新,否则续期静默失败
为什么要把证书塞进统一的资产到期日历?因为漏掉的往往不是 TLS 证书,而是同一批“隐形到期日”。放进一个看板,比每类资产各建一套提醒更不容易漏,也方便做年度预算:
| 资产类型 | 典型有效期 | 建议提醒提前量 | 自查命令 |
|---|---|---|---|
| 公网 TLS 证书(Let’s Encrypt) | 90 天 | 30/21/14/7/1 天五级 | certbot certificates |
| 域名注册 | 1–10 年 | 60 天 | whois example.com | grep -i expiry |
| HSTS 预加载 | 无固定到期,需年度复核 | 每年一次 | 在 hstspreload.org 查询域名状态 |
| 代码签名证书 | 1–3 年 | 90 天 | openssl pkcs12 -in code.p12 -nokeys -clcerts | openssl x509 -noout -enddate |
把上面两条自查命令固化进探针即可闭环:blackbox_exporter 的 probe_ssl_earliest_cert_expiry 指标可直接喂给 Prometheus 告警规则,openssl s_client -status 的输出则适合做成每日 cron 巡检,让“证书快到期”和“stapling 已失效”这两类问题在同一张看板上同时暴露。
需要。certbot 与 acme.sh 只能保证「尝试续期」,不能保证「续期成功」,端口被封、DNS 改动、CAA 不匹配、速率限制都会让续期静默失败。提醒应监控线上实际证书的 notAfter,而不是只看续期任务有没有被执行。
按证书有效期的 1/3 设置:90 天证书提前 30 天,398 天证书提前 30-45 天,再叠加 14/7/3/1 天四级升级。若 CA/B Forum 的 47 天方案正式生效,提前量要同步压缩到 15 天左右。
常见三种原因:告警采集的是旧 IP 或旧 CDN 节点上的证书;Nginx 没有 reload,仍在用旧证书;只替换了 leaf 证书而没有替换 fullchain.pem。用 openssl s_client 取线上指纹,再和 certbot certificates 里的路径逐项比对即可定位。
Uptime Kuma 1.23.x 部署快,自带证书到期提醒与多种通知渠道,适合 50 个监控点以内、没有 Prometheus 的团队。blackbox_exporter 0.25.0 的优势是能和 Alertmanager 路由、静默、长期存储打通,适合已有 Prometheus 体系的团队。
用 zabbix-agent2 的 web.certificate.get[host,443] 取 expiry 字段,或写脚本调用 openssl x509 -checkend,通过 node_exporter 的 textfile collector 暴露为 cert_expiry_timestamp_seconds,再统一走 Prometheus 告警规则。
说明 80 端口被 Nginx 或 Apache 占用,certbot 的 standalone 模式无法监听。先 ss -lntp | grep :80 确认占用进程,再改用 –webroot -w 站点根目录或 –nginx 插件;如果 80 端口对外不可达,直接改用 DNS-01 验证。
按「端点」采集、按「证书序列号」聚合。同一张 SAN 证书部署在 20 个域名上,按域名会产生 20 条重复告警;用 probe_ssl_earliest_cert_expiry 配合序列号标签去重,同时保留域名标签便于定位具体受影响站点。
本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。