证书到期监控告警怎么做?OpenSSL 巡检到 Prometheus 告警的完整配置
证书到期监控告警的最小可用组合是 blackbox_exporter 0.25 + Prometheus + Alertmanager,按 T-30/T-14/T-7 天三级阈值告警,单实例可覆盖 500+ 域名,软件成本 0 元、首次上线约 2-4 小时。 90 天证书建议设 30/14/7 天三档阈值,47 天证书(CA/Browser Forum SC-081 计划 2029-03-15 起生效)建议设 21/10/5 天,阈值一律以 notAfter 的 UTC 时间为基准。 核心指标是 probe_ssl_earliest_cert_expiry,告警表达式为 probe_ssl_earliest_cert_expiry - time() < 86400 * 21,单位是秒,不要写成天。 续期侧用 certbot 2.x 的 systemd timer 每日运行两次,并配 --deploy-hook 'systemctl reload nginx',每月执行 certbot renew --dry-run 校验退出码。 监控必须覆盖 SAN 全列表与中间证书链,只探测 443 端口会出现「源站正常、CDN 边缘节点证书未更新」的漏报。
为什么证书到期告警总在最后一刻才响?根因拆解
不是”忘了看”,而是告警的观测点和证书的真实生命周期脱节了。据 Let’s Encrypt 文档,其免费证书有效期 90 天、到期前 30 天即可续期,官方明确建议续期任务每天运行两次并加随机延迟——这等于官方已经承认”续期不是一次性动作,而是持续运行的后台服务”。而 CA/Browser Forum Ballot SC-081 把公共 TLS 证书最长有效期进一步压缩:2026-03-15 起 200 天、2027-03-15 起 100 天、2029-03-15 起 47 天。维护窗口从”一年一次”变成”一月一次”甚至”一周一次”,任何靠日历提醒或人工台账的做法在结构上就必然失效。
| 生效日期 | 公共 TLS 证书最长有效期 | 对监控的含义 |
|---|---|---|
| 当前(SC-081 之前) | 398 天 | 年检一次尚可 |
| 2026-03-15 | 200 天 | 季度巡检 |
| 2027-03-15 | 100 天 | 月度巡检 |
| 2029-03-15 | 47 天 | 必须自动化,人工不可行 |
根因一:续期任务静默失败,没人被告知。certbot 失败时只往 /var/log/letsencrypt/letsencrypt.log 写一行 Failed authorization procedure,不会发任何通知。最常见的五类失败:cron 环境缺 PATH 导致找不到 nginx 插件(插件在 /snap/bin,cron 默认只有 /usr/bin:/bin);安全组关掉 80 端口导致 HTTP-01 挑战失败;DNS-01 的 API Token 过期返回 403;容器重建后 acme.sh 的 crontab 丢失;磁盘写满导致 /etc/letsencrypt 写入失败。可以用一条 dry-run 提前暴露问题(适用于 certbot 2.x/3.x,--dry-run 走 staging 环境,不消耗生产速率限制):
# 用 staging 环境完整演练一次续期,失败会直接打印原因
sudo certbot renew --dry-run --cert-name example.com
# 典型失败输出:
# Failed authorization procedure. example.com (http-01):
# urn:ietf:params:acme:error:connection :: The server could not connect
# to the client to verify the domain
# cron 中必须显式声明 PATH,并用 deploy-hook 保证续期后一定重载
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin
17 3,15 * * * certbot renew --deploy-hook "systemctl reload nginx" >> /var/log/certbot.log 2>&1
根因二:证书续了,但没部署到位。只在 A 节点 reload nginx,B 节点、CDN 回源、WAF、SLB 后端仍是旧证书;Kubernetes 里 Secret 更新了但 Ingress Controller 未热加载;Java 应用把证书打进 JKS 必须重启进程才生效。这类问题在监控上表现为”源站还有 60 天,边缘节点已过期”——所以证书到期监控告警必须按节点、按链路分别采集,而不是只探测一个域名。
根因三:监控口径错了。只采集 probe_success(端口存活)而不解析证书有效期;只看叶子证书不看中间证书链(2021-09-30 DST Root CA X3 根证书过期,就曾让大量未更新信任库的老客户端握手失败);openssl s_client 不加 -servername,SNI 多证书站点会拿到默认站点证书,于是误判为正常。正确的取数方式:
# -servername 必须显式指定,否则 SNI 站点返回的是默认证书,会误判
echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null
| openssl x509 -noout -subject -issuer -dates
# notAfter=Mar 15 12:00:00 2026 GMT ← 告警应基于这个字段,而不是端口连通性
# 顺带验证证书链完整性(缺失中间证书时 s_client 会报 verify error 21)
echo | openssl s_client -connect example.com:443 -servername example.com -showcerts 2>/dev/null
| grep -c "BEGIN CERTIFICATE"
根因四:资产漏检。主域名监控了,www、api、static、m、管理后台没监控;泛域名 *.example.com 不覆盖 a.b.example.com;8443、9443 等非 443 端口与 mTLS 双向认证端口未纳入;云厂商托管的免费 DV 证书(如 ACM)在 CDN 绑定关系变更后不会自动同步到新域名。
为什么影响面这么大?客户端侧表现为 curl: (60) SSL certificate problem: certificate has expired、浏览器 NET::ERR_CERT_DATE_INVALID、iOS/Android SDK 握手失败,支付回调、小程序、API 网关链路会同时中断。一次线上换证的恢复时间通常在 30 分钟以上——这已经远超”告警提前 7 天”能覆盖的范围,证书到期监控告警的阈值必须按续期窗口(30 天)而不是按人类习惯(7 天)来设计。
落地六步:从资产台账到告警闭环
把“证书到期监控告警”真正实施完成,靠的不是一条 openssl 命令,而是六个能验收的交付物:一份台账、一套阈值、一个采集器、一段抓取配置、一条路由规则、一个续期钩子。任何一步没有可检查的产出,最后都会退化成“某天早上发现站点红了”。下面按落地顺序拆解。
第一步 · 资产盘点(约 0.5 人日):配置侧和域名侧要分别清点。 只扫描域名会漏掉内网服务,只读取配置文件会漏掉挂在 CDN 或 LB 上的证书,所以两边都要做,最后合并去重。配置侧从 nginx 提取:
# -h 不打印文件名,-E 用扩展正则,s 兼容 "ssl_certificate /path"
grep -rhE "ssl_certificates" /etc/nginx/conf.d /etc/nginx/sites-enabled
| awk '{print $2}' | tr -d ';' | sort -u > /tmp/cert_files.txt
# 域名侧:显式带 -servername 触发 SNI,否则多域名共用 IP 时会拿到默认证书
while read -r d; do
end=$(echo | openssl s_client -connect "${d}:443" -servername "$d" 2>/dev/null
| openssl x509 -noout -enddate | cut -d= -f2)
printf '%s,%sn' "$d" "$(date -u -d "$end" +%s)" # -u 必须加,见第二步
done /tmp/cert_ledger.csv
如果 openssl s_client 打印出 Verify return code: 10 (certificate has expired),说明链上已有证书过期,这条必须优先入台账。CSV 字段至少包括:域名、端口、是否 SNI、签发 CA、notAfter(UTC)、部署位置(源站/CDN/LB)、负责人、续期方式。验收标准很明确:台账行数必须等于 Prometheus 中该 job 的 target 数;两者对不上,就是还有资产没有纳入监控。
第二步 · 阈值分级:所有比较都换算成 Unix 时间戳。 据 RFC 5280 §4.1.2.5,证书的 notAfter 一律用 UTC(UTCTime/GeneralizedTime 带 Z)表示;而东八区服务器上的 date -d 不带 -u 会按本地时区解析,8 小时偏差足以让 T-30 的告警提前或延后触发。分级建议如下:
| 证书类型 | warning | critical | 电话/值班 | 设计理由 |
|---|---|---|---|---|
| ACME 90 天(Let’s Encrypt 默认) | T-30 天 | T-14 天 | T-7 天 | 据 Let’s Encrypt 文档,建议在剩余 30 天内完成续期 |
| 47 天(CA/Browser Forum SC-081 时间表) | T-21 天 | T-10 天 | T-5 天 | 预留至少两轮自动续期失败的重试窗口 |
| 内部自签 CA | T-60 天 | T-30 天 | T-14 天 | 无 ACME 自动化,需人工排期重签 |
第三步 · 选采集器:按证书所在位置选择,不要用一个工具强行覆盖全部场景。
| 场景 | 采集器与版本 | 关键指标 | 局限 |
|---|---|---|---|
| 外部黑盒探测 | blackbox_exporter 0.25.0 | probe_ssl_earliest_cert_expiry(整条链最早到期时间戳)、probe_ssl_last_chain_expiry_timestamp_seconds |
只能看到公网可达的端点 |
| 主机上的证书文件 | x509_exporter,或 shell + node_exporter textfile collector | 自定义 cert_file_expiry_timestamp_seconds |
需要自己维护路径清单 |
| Kubernetes Ingress | cert-manager 1.15 内置 | certmanager_certificate_expiration_timestamp_seconds |
仅覆盖 cert-manager 签发的 Certificate 资源 |
文件侧的最小实现(原子替换可以避免 node_exporter 读到不完整的文件):
#!/usr/bin/env bash
# /usr/local/bin/cert_metrics.sh,由 cron 每小时执行
out=/var/lib/node_exporter/textfile/certs.prom; tmp=$(mktemp)
while IFS=, read -r domain file; do
ts=$(date -u -d "$(openssl x509 -in "$file" -noout -enddate | cut -d= -f2)" +%s)
echo "cert_file_expiry_timestamp_seconds{domain="$domain"} $ts" >> "$tmp"
done < /etc/cert_ledger.csv
mv "$tmp" "$out"
第四步 · 部署与接入。 blackbox_exporter 默认监听 9115 端口,http prober 需要关闭信任链校验,否则中间证书缺失会直接导致 probe 失败,而不是报告“快到期”:
# /etc/blackbox_exporter/blackbox.yml
modules:
https_cert:
prober: http
timeout: 10s
http:
preferred_ip_protocol: ip4
tls_config:
insecure_skip_verify: true # 只关心到期时间,不判断链是否可信
# 启动(0.25.0)
/usr/local/bin/blackbox_exporter
--config.file=/etc/blackbox_exporter/blackbox.yml
--web.listen-address=:9115
# prometheus.yml(Prometheus 2.53)
scrape_configs:
- job_name: blackbox-cert
metrics_path: /probe
scrape_interval: 60s
params: {module: [https_cert]}
static_configs:
- targets: ['www.example.com:443', 'api.example.com:443']
relabel_configs:
- source_labels: [__address__]
target_label: __param_target # 目标塞进 ?target=
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 127.0.0.1:9115 # 真正抓的是 exporter 自己
# 告警规则(注意 expr 中的 < 在 YAML 里要转义为 <)
groups:
- name: cert
rules:
- alert: CertExpiryCritical
expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
labels: {severity: critical}
单实例抓取 500 个 target、间隔 60s 时,CPU 占用通常低于 5%,瓶颈在网络超时而非解析。
第五步 · 告警路由:让 critical 走电话或 PagerDuty,warning 走企业微信、飞书或钉钉。 Alertmanager 0.27 起 match/match_re 已弃用,必须改用 matchers:
# alertmanager.yml(Alertmanager 0.27)
route:
receiver: default
group_by: [alertname, instance]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h # 默认值,避免同一张证书一天刷 24 条
routes:
- matchers: ['severity="critical"']
receiver: pagerduty
repeat_interval: 1h # critical 单独加密提醒频率
第六步 · 续期闭环:告警只是保底手段,续期成功才是目标。 certbot 2.x 的 certbot.timer 默认 OnCalendar=*-*-* 00/12:00:00 并配 RandomizedDelaySec=43200,用 systemctl list-timers certbot.timer 可核对;续期成功后通过 --deploy-hook 重载服务并回写 CMDB:
certbot renew --deploy-hook '/usr/local/bin/post-renew.sh'
# post-renew.sh 内两行核心动作:
systemctl reload nginx
openssl x509 -in "$RENEWED_LINEAGE/cert.pem" -noout -enddate # 取新 notAfter 回写台账
# /etc/cron.d/certbot-dryrun —— 每月 1 日演练,非 0 退出码直接进告警通道
0 3 1 * * root certbot renew --dry-run --quiet || /usr/local/bin/alert.sh "certbot dry-run failed"
演练失败最常见的输出是 urn:ietf:params:acme:error:unauthorized :: Invalid response from http://example.com/.well-known/acme-challenge/...: 404,几乎都指向 Web 根目录映射或 80 端口被拦截;只有实际运行演练,才能提前发现这类问题,而不是等到 T-7 电话响起时才发现。
关键配置与命令示例(OpenSSL 3.0 / blackbox_exporter 0.25 / Alertmanager 0.27)
先用一条命令确认某张证书到底还剩几天?可以。OpenSSL 3.0.13 起,s_client 与 x509 串联,一次就能拿到签发者、notBefore/notAfter 与 SAN 列表(notAfter 的语义见 RFC 5280 §4.1.2.5):
# -servername 必须显式给出,否则多域名站点可能返回默认虚拟主机的证书
echo | openssl s_client -connect sslgood.com:443 -servername sslgood.com -showcerts 2>/dev/null
| openssl x509 -noout -subject -issuer -dates -ext subjectAltName
# 输出示例:
# subject=CN = sslgood.com
# issuer=C = US, O = Let's Encrypt, CN = R11
# notBefore=Jun 1 00:00:00 2025 GMT
# notAfter=Aug 30 23:59:59 2025 GMT
# X509v3 Subject Alternative Name:
# DNS:sslgood.com, DNS:www.sslgood.com
脚本里怎么判断”是否即将过期”?用 -checkend,单位是秒(2592000 = 30 天),退出码 0 表示仍有效、1 表示将在该窗口内过期或已过期,可直接作为 if 条件:
# </dev/null 防止 s_client 等待 stdin;退出码即判断结果
if ! openssl s_client -connect sslgood.com:443 -servername sslgood.com
-checkend 2592000 /dev/null 2>&1; then
echo "证书将在 30 天内过期" # 退出码 1
fi
blackbox_exporter 0.25 的模块怎么写?关键在 tls_config.insecure_skip_verify:该字段默认 false。只关心到期时间时设为 true;若要同时校验证书链,必须保持 false 并用 ca_file 指定私有根证书,否则自签或私有 CA 站点会长期 probe_success 0,日志里出现 Go 的典型报错 x509: certificate signed by unknown authority。
# blackbox.yml
modules:
https_cert:
prober: http
timeout: 10s
http:
preferred_ip_protocol: ip4 # 默认 ip6,双栈环境易踩坑
follow_redirects: true
tls_config:
insecure_skip_verify: true # 仅测到期时间时用;校验证书链请改 false + ca_file
Prometheus 2.53 用三条 relabel 把真实目标塞进 __param_target、把探针地址固定为 exporter:
# prometheus.yml
- job_name: 'ssl-cert'
metrics_path: /probe
params:
module: [https_cert]
static_configs:
- targets: ['sslgood.com:443', 'www.sslgood.com:443', 'api.sslgood.com:8443']
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance # 告警里 {{ $labels.instance }} 才可读
- target_label: __address__
replacement: 127.0.0.1:9115 # exporter 实际地址
告警规则放 /etc/prometheus/rules/ssl.yml,用 probe_ssl_earliest_cert_expiry(Unix 时间戳秒)与 time() 相减,humanizeDuration 接受秒数、渲染为 21d 4h 这类可读文本:
groups:
- name: ssl
rules:
- alert: SSLCertExpiringSoon
expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 21
for: 10m # 抑制抓取抖动造成的瞬时误报
labels: { severity: warning }
annotations:
summary: "{{ $labels.instance }} 证书 {{ $value | humanizeDuration }} 后过期"
- alert: SSLCertExpired
expr: probe_ssl_earliest_cert_expiry - time() < 0
labels: { severity: critical }
Alertmanager 0.27 侧按 severity 分流到不同 receiver,group_wait 默认 30s、group_interval 5m、repeat_interval 4h,证书类告警通常把 repeat 调到 12h 以上以免噪声。
| 采集方式 | 依赖 | 是否校验证书链 | 适用场景 |
|---|---|---|---|
| OpenSSL 手工/脚本 | openssl 3.0+ | 可选(-verify_return_error) | 临时排查、CI 冒烟 |
| blackbox_exporter 0.25 | Prometheus | 可配 ca_file | 外部黑盒多目标批量巡检 |
| Zabbix 7.0 | Zabbix Server/Proxy | 是 | 已有 Zabbix 体系、免额外组件 |
| cert-manager 1.15 | Kubernetes | 是(K8s Secret) | 集群内证书自动签发与续期 |
续期成功了但服务没重载,监控照样报警怎么办?把重载逻辑写进 certbot deploy hook,并用 timer override 覆盖默认随机时刻(certbot 2.11 + systemd 252):
# /etc/systemd/system/certbot.timer.d/override.conf
[Timer]
OnCalendar= # 先清空继承值,再追加
OnCalendar=*-*-* 00,12:17:00
RandomizedDelaySec=3600
# /etc/letsencrypt/renewal-hooks/deploy/reload.sh (chmod +x)
#!/bin/sh
systemctl reload nginx
curl -s -X POST https://cmdb.internal/api/cert/sync -d "domain=$RENEWED_DOMAINS"
注意:据 Let’s Encrypt 文档,certbot renew --dry-run 默认不执行 deploy hook,2.x 需加 --run-deploy-hooks 才能验证钩子本身,否则演练通过≠钩子可用。Zabbix 7.0 的原生监控项 web.certificate.get[sslgood.com,443] 直接返回剩余天数(整数),触发器 last(/TLS/web.certificate.get[sslgood.com,443])<14、恢复表达式 >21,用滞回区间避免阈值抖动,1h 轮询足够;cert-manager 1.15 侧用 certmanager_certificate_expiration_timestamp_seconds - time() < 86400*21,RenewBefore 默认取证书时长的 2/3(90 天证书约提前 30 天续期),排查用 cmctl status certificate api-tls -n prod。
方案选型对比:六种证书到期监控方式怎么选
先给结论再展开:如果你已经在用 Prometheus,证书到期监控告警优先选 blackbox_exporter——它的指标可以直接复用现有 Alertmanager 的路由、静默和抑制规则,不必再维护第二套告警平台。下表按 2025 年各项目社区版本与公开报价整理,供横向比较:
| 方案 | 采集方式 | 覆盖能力 | 部署成本 | 适用规模 | 费用区间 |
|---|---|---|---|---|---|
| blackbox_exporter 0.25 + Prometheus | 外部 HTTP 探测 | 域名、端口、证书链,指标秒级 | 1 个容器 + 3 行配置 | 50–5000 域名 | 开源 0 元 |
Zabbix 7.0 web.certificate.get |
主动/被动检查 | 剩余天数整数 | 已有 Zabbix 即零新增 | 100–2000 主机 | 开源 0 元 |
| check_ssl_cert 2.x(Nagios/Icinga) | 插件脚本 | 有效期、链、协议 | 单文件脚本 | 50–500 域名 | 开源 0 元 |
| certbot timer + shell + textfile | 本地文件解析 | 仅本机证书文件 | 20 行脚本 | 单机 10–100 张 | 开源 0 元 |
| cert-manager 1.15 | K8s 内置指标 | Ingress/Gateway 证书 | 集群内组件 | 云原生集群 | 开源 0 元 |
| 商业拨测/SaaS | 全球节点探测 | 多地域、多运营商视角 | 控制台配置 | 跨地域业务 | 约 30–200 元/域名/月 |
已有 Prometheus 生态,为什么首选 blackbox_exporter?因为告警通路只有一条。blackbox_exporter 0.25 的 probe_ssl_earliest_cert_expiry 返回的是 Unix 时间戳(秒),减去 time() 再除 86400 就是剩余天数,可与业务 SLO 告警共用同一套抑制规则。配置如下(timeout 默认 10s,建议按探测频率收紧):
# blackbox.yml —— blackbox_exporter 0.25.x
modules:
https_cert:
prober: http
timeout: 5s # 默认 10s;需小于 Prometheus 的 scrape_timeout
http:
preferred_ip_protocol: ip4
tls_config:
insecure_skip_verify: true # 只看有效期时跳过链校验;要校验链则设为 false
# prometheus rules —— 剩余不足 21 天告警
groups:
- name: tls-expiry
rules:
- alert: SSLCertExpiringSoon
expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 21
for: 1h
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} 证书剩余 {{ $value | printf "%.1f" }} 天"
探测失败时 probe_success 会变成 0,日志里通常能看到真实报错,例如 level=error msg="Error processing request" err="x509: certificate has expired or is not yet valid: current time 2025-06-01T02:11:04Z is after 2025-05-31T23:59:59Z"——出现这条说明证书确已过期,而不是网络问题。注意 blackbox_exporter 只做「探测」,不负责续期,必须与 certbot 或 cert-manager 配合。
以主机为中心、已上 Zabbix 6.0/7.0 的团队怎么办?用内置键值更省事,无需额外组件,模板可直接关联主机:
# Zabbix 7.0 监控项键值(port 默认 443,返回 {"value": 剩余天数})
web.certificate.get[example.com,443]
# 触发器表达式
last(/Web-Server/web.certificate.get[example.com,443])<21
缺点粒度只到「天」,且每个域名要手工建一个监控项,超过 200 个域名后维护成本明显上升。单机场景则可以最轻量地用 20 行脚本把证书时间戳写进 node_exporter 的 textfile 目录(启动参数 --collector.textfile.directory=/var/lib/node_exporter/textfile):
#!/bin/bash
# /usr/local/bin/cert_expiry.sh —— 每日 03:00 由 systemd timer 触发
OUT=/var/lib/node_exporter/textfile/cert_expiry.prom
: > "$OUT.tmp"
while read -r cert; do
end=$(openssl x509 -in "$cert" -noout -enddate | cut -d= -f2)
ts=$(date -d "$end" +%s) # macOS 改用 date -j -f "%b %d %T %Y %Z" "$end" +%s
echo "cert_expiry_timestamp_seconds{path="$cert"} $ts" >> "$OUT.tmp"
done < <(find /etc/letsencrypt/live -name fullchain.pem -type l)
mv "$OUT.tmp" "$OUT" # 原子替换,避免 node_exporter 读到半个文件
只选一种够不够?不够,建议双通道:外部拨测(blackbox 或商业 SaaS)负责「用户视角」,内部文件解析负责「源站视角」,两边都告警才算真故障。只做其中一路,会分别漏掉 CDN 边缘未更新和源站未部署两类问题——这也是多数证书到期监控告警事故的根因。据 Let’s Encrypt 文档,其证书有效期 90 天、官方建议在到期前 30 天续期,因此 21 天阈值对 Let’s Encrypt 偏紧,可对 CA 类型做差异化:
# 按签发者区分阈值(probe_ssl_last_chain_info 自 0.24 起提供 issuer 标签)
(probe_ssl_earliest_cert_expiry{issuer=~".*Let's Encrypt.*"} - time()) / 86400 < 14
(probe_ssl_earliest_cert_expiry - time()) / 86400 < 30
成本要算人日,不只是软件费。开源方案软件 0 元,但首次部署约 2–4 小时、每月台账核对约 0.5 人日;商业 SaaS 省掉运维却按域名计费,100 个域名一年约 3.6 万–24 万元。多数中小站点用开源方案即可覆盖,把预算留给真正需要多地域视角的业务。
常见错误与排查:这些报错分别代表什么
看到 curl: (60) SSL certificate problem: certificate has expired,先别急着重签证书——到底是谁的证书过期了?
这条报错只说明「你握手到的那个端点证书过期」,不代表源站过期。典型场景是 CDN 边缘还挂着旧证书。按节点逐个直连,强制带 SNI,才能区分边缘与源站:
# 对 CDN 每个边缘 IP 和源站 IP 分别验证,-servername 必带
for ip in 203.0.113.10 203.0.113.11 198.51.100.7; do
echo "== $ip =="
echo | openssl s_client -connect "$ip:443" -servername www.example.com 2>/dev/null
| openssl x509 -noout -subject -issuer -dates
done
# notAfter 已过期 → 该节点证书未更新;全部正常 → 检查本地 CA 包与系统时间
据 Let’s Encrypt 文档与主流 CDN 厂商说明,控制台上传新证书后通常需 5–30 分钟下发到全部边缘节点,这段时间会出现「控制台显示已更新、实际仍返回旧证书」的窗口期,监控告警会持续抖动,属预期行为,不要在这期间反复重传。
blackbox_exporter 报 err="x509: certificate signed by unknown authority" 是什么原因?
九成是中间证书缺失。用 -showcerts 数一下链上返回几张证书,只返回 1 张即确诊:
echo | openssl s_client -connect www.example.com:443 -servername www.example.com -showcerts 2>/dev/null
| grep -c 'BEGIN CERTIFICATE'
# 期望 >= 2(叶子证书 + 至少一张中间证书);输出 1 = 缺中间证书
修复点在 Nginx:ssl_certificate 必须指向 fullchain.pem,只配 cert.pem 时浏览器能靠 AIA 补链,但 Go、Java、Python 的严格校验会直接失败。
server {
listen 443 ssl;
# fullchain.pem = 叶子 + 中间证书;cert.pem 仅叶子,Go/Java 客户端会校验失败
ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
}
报 x509: certificate is valid for *.example.com, not a.b.example.com,泛域名不是应该全覆盖吗?
不是。按 RFC 6125 第 6.4.3 节,通配符只匹配最左侧一个标签,*.example.com 覆盖 a.example.com,不覆盖 a.b.example.com。要么为该二级子域单独签发,要么改用多 SAN 证书。签发前先核对 SAN 是否覆盖全部业务域名:
openssl x509 -noout -ext subjectAltName -in cert.pem
# X509v3 Subject Alternative Name:
# DNS:example.com, DNS:*.example.com, DNS:a.b.example.com
Zabbix 报 SSL certificate check failed: cannot connect to [[sslgood.com]:443],网站明明能打开?
先分清是网络不通还是 SNI 未带。在监控机(或 proxy 所在网段)上执行:
- Wildcard 通配符 SSL 证书安装部署续费申请
- 代购 SSL 证书 · DigiCert / GeoTrust / RapidSSL 单域名与通配符
- SSL/HTTPS 证书配置 · 证书安装 · 证书申请
dig +short sslgood.com # 解析是否正常,排除 DNS
timeout 10 openssl s_client -connect sslgood.com:443 -servername sslgood.com </dev/null
# 卡住无输出 → 出站 443 被防火墙拦截;返回证书但域名不符 → 未带 SNI
Zabbix 的 ssl_check 监控项默认超时 3s(Timeout 参数,可调范围 1–30s),跨境链路建议调到 10s;若监控服务器出站受限,把监控项切到 proxy 所在网段执行。
为什么 openssl 手工查是好的,脚本却报域名不符?
同一 IP 上部署多张证书时,不带 -servername 只能拿到默认站点证书,必然误判。核查脚本里必须显式加 -servername <域名>。curl 从 7.29 起默认发送 SNI,老版本需用 --resolve 指定解析:
curl -sS --resolve www.example.com:443:203.0.113.10 https://www.example.com -o /dev/null -w '%{ssl_verify_result}n'
另一个隐蔽坑是时间偏移:probe_ssl_earliest_cert_expiry - time() 直接依赖本机时钟,偏移超过 5 分钟时短阈值(如剩余 1 小时)会算错,容器从休眠恢复后尤甚。
chronyc tracking | grep -E 'System time|Leap status'
# System time : 0.000312 seconds fast of NTP time ← 绝对值 > 300 秒即需校时
告警发出去了却收不到:Error on notify: notify retry canceled after 10 attempts 或钉钉 errcode 130101?
多为机器人限流(钉钉自定义机器人约 20 条/分钟)。证书到期监控告警常因 repeat_interval 过短而刷屏:
route:
group_by: [alertname, instance, severity] # 按维度聚合,避免每域名一条
group_wait: 30s
group_interval: 5m
repeat_interval: 4h # 默认 4h;设为 1h 且告警量大时会打满限流
receiver: dingtalk
webhook 侧再加 200ms 指数退避重试,并在 Prometheus 规则里用 for: 10m 抑制瞬时抖动。
| 报错关键字 | 根因 | 一条验证命令 | 修复动作 |
|---|---|---|---|
| curl: (60) certificate has expired | CDN 边缘未同步 / 源站过期 | openssl s_client -connect IP:443 -servername 域名 |
逐节点定位,等 5–30 分钟下发窗口 |
| x509: certificate signed by unknown authority | 缺中间证书 | s_client -showcerts | grep -c BEGIN |
Nginx 改指 fullchain.pem |
| valid for *.example.com, not a.b.example.com | 通配符仅匹配一级(RFC 6125) | openssl x509 -noout -ext subjectAltName |
单独签发或加多 SAN |
| cannot connect to [[host]:443] | 出站 443 被拦 / 未带 SNI | dig +short + timeout 10 openssl |
切 proxy 网段,Timeout 3s→10s |
| notify retry canceled after 10 attempts | 机器人限流 | 看 Alertmanager 日志计数 | group_by 聚合,repeat_interval 4h |
告警规则写完不等于链路通了。证书到期监控告警最常见的失效方式不是规则没写,而是写了却从没被真正触发过一次——等真到期那天才发现 webhook 地址拼错、Silence 忘了删、或者阈值单位写成了“21 秒”。下面按“指标 → 语法 → 注入 → 端到端 → 续期 → 台账”六步做一次可复现的验证。
第一步:先核对指标口径,确认数值本身可信。blackbox_exporter 的 https_cert 模块返回的 probe_ssl_earliest_cert_expiry 是 Unix 秒级时间戳(取证书链中最早到期的一张),必须和 OpenSSL 的 notAfter 对得上,误差应小于 1 秒。
# 1) 抓取探针输出:probe_success 必须为 1,否则是探测失败而非证书问题
curl -s 'http://127.0.0.1:9115/probe?target=sslgood.com:443&module=https_cert'
| grep -E 'probe_ssl_earliest_cert_expiry|probe_success'
# probe_ssl_earliest_cert_expiry 1.797064447e+09
# probe_success 1
# 2) 用 openssl 取同一张证书的 notAfter,并换算成同口径时间戳
echo | openssl s_client -servername sslgood.com -connect sslgood.com:443 2>/dev/null
| openssl x509 -noout -enddate
# notAfter=Aug 12 03:14:07 2026 GMT
date -d 'Aug 12 03:14:07 2026 GMT' +%s
# 1797064447
两个数相减若大于 1,通常是探针走了不同的解析路径(CDN 节点、SNI 未带导致拿到默认证书),先修这个再谈告警。probe_success 0 时 Prometheus 里该 target 的所有证书指标都会消失,absent() 类规则才会兜住这种情况——这也是为什么规则里要同时写 probe_success == 0 的告警。
第二步:语法与配置校验,拦住“单位写错”这类低级错误。
# 规则文件语法 + 表达式合法性(Prometheus 2.x 自带 promtool)
promtool check rules /etc/prometheus/rules/ssl.yml
# SUCCESS: 4 rules found
# Alertmanager 配置与路由模板校验
amtool check-config /etc/alertmanager/alertmanager.yml
# SUCCESS
最容易翻车的一行:把
probe_ssl_earliest_cert_expiry - time() < 86400 * 21写成< 21。后者含义是“21 秒内到期”,结果是所有证书全量误报,团队很快学会忽略告警——比没有告警更糟。据 Prometheus 官方文档,比较运算两侧单位完全由你决定,工具不会替你校验语义。
第三步:告警注入,验证通知通道真的通。把阈值临时放大到一年,让任意有效证书都命中,然后热加载(需 Prometheus 启动时带 --web.enable-lifecycle,否则返回 Lifecycle API is not enabled.):
sed -i 's/86400 * 21/86400 * 365/' /etc/prometheus/rules/ssl.yml
curl -X POST http://localhost:9090/-/reload # 需 --web.enable-lifecycle
# 5 分钟内确认企业微信/飞书机器人收到消息
# 再在 Alertmanager UI (http://alertmanager:9093) 点 Silence,观察告警从 Active 消失
# 验证完立即改回原阈值并再次 reload
第四步:端到端演练。用一张 1 天期自签证书挂到测试 Nginx 的 8443 端口,验证 T-1 天能触发 critical 并走到电话通道,演练后务必从 targets 里删除,避免污染台账:
openssl req -x509 -newkey rsa:2048 -keyout k.pem -out c.pem -days 1 -nodes
-subj "/CN=test.sslgood.com"
第五步:续期链路。据 Let’s Encrypt 文档,certbot renew --dry-run 用 staging 环境完整模拟一次续期,成功输出 Congratulations, all simulated renewals succeeded;再用 systemctl list-timers certbot.timer 确认 NEXT/LAST 符合预期,并检查 /var/log/letsencrypt/letsencrypt.log 中无 Failed authorization procedure(通常是 80 端口被占用或 DNS-01 的 TXT 未生效)。
第六步:台账一致性。每月跑一次,差异大于 0 就说明有新域名上线未纳入监控:
curl -s 'http://prometheus:9090/api/v1/targets?state=active'
| jq '.data.activeTargets | length' # 与 CMDB 登记的域名数比对
| 检查项 | 命令 | 通过标准 | 失败典型表现 |
|---|---|---|---|
| 指标口径 | curl /probe + openssl x509 | 时间戳差 < 1s,probe_success=1 | probe_success 0(DNS/超时/SNI) |
| 规则语法 | promtool check rules | SUCCESS: N rules found | parse error / 单位写成秒 |
| 通知通道 | 阈值放大 + /-/reload | 5 分钟内收到消息 | webhook 404、Silence 未清 |
| 续期 | certbot renew –dry-run | all simulated renewals succeeded | Failed authorization procedure |
问:为什么证书到期告警总被当成“狼来了”?因为多数团队把 T-30 天和 T-1 天塞进同一条 route、同一个 receiver,结果 warning 天天响、critical 没人接。据 Prometheus Alertmanager 官方文档,repeat_interval 默认 4h、group_wait 默认 30s、group_interval 默认 5m——默认值本身没错,错在没按严重程度拆分通道,也没写抑制规则。
三级阈值怎么映射到通道?核心原则是“阈值递进 = 升级”,而不是同一张证书反复推送。Alertmanager 原生没有 escalation 链,所以升级必须靠不同阈值生成不同 alertname,再由 route 分流:
| 级别 | 触发阈值 | 通知通道 | repeat_interval | 动作要求 |
|---|---|---|---|---|
| warning | T-30 / T-21 天 | IM 群(webhook) | 4h(默认) | 排入本周换证计划 |
| critical | T-14 / T-10 天 | 值班手机(短信/推送) | 1h | 当班内完成续签 |
| fatal | T-7 / T-5 天 | 电话外呼 + 上级抄送 | 15m | 拉群、走变更加急 |
# alertmanager.yml —— 适用 Alertmanager 0.25+(matchers 语法取代旧 match/match_re)
route:
receiver: 'im-webhook' # 默认:IM 群
group_by: [alertname, instance, severity]
group_wait: 30s # 默认值,批量换证时先攒一波再发
group_interval: 5m # 默认值
repeat_interval: 4h # 默认值
routes:
- matchers: ['severity="critical"']
receiver: 'oncall-phone'
repeat_interval: 1h # critical 单独加速,不走默认 4h
- matchers: ['severity="fatal"']
receiver: 'pager-call'
repeat_interval: 15m
inhibit_rules:
# 1) 已过期就别再报“即将过期”,同一 instance 只留一条
- source_matchers: ['alertname="SSLCertExpired"']
target_matchers: ['alertname=~"SSLCertExpiringSoon.*"']
equal: [instance]
# 2) 探针失败时 probe_ssl_earliest_cert_expiry 为 0/NaN,
# 此时到期类告警全是假信号,必须抑制
- source_matchers: ['alertname="ProbeFailure"', 'probe_success="0"']
target_matchers: ['alertname=~"SSLCert.*"']
equal: [instance]
聚合参数不是玄学:批量换证一次可能触发上百条告警,按 group_by: [alertname, instance, severity] 折叠后通常只剩 3-5 条,group_wait: 30s 让同一批 target 的告警挤进同一条通知,group_interval: 5m 控制后续补充发送节奏。
计划内换证先静默,换完立刻 expire。用 --duration 设个安全上限,但绝不等它自然过期——否则真故障会被静默掩盖:
# 换证前:只静默单个实例,避免误伤同域名其他端口
amtool silence add alertname=~"SSLCert.*" instance="sslgood.com:443"
--duration=2h --comment="更换通配符证书"
--alertmanager.url=http://alertmanager.mon:9093
# 换证后:立即结束静默(用上一步返回的 SilenceID),而不是等 2h 自然到期
amtool silence expire 8f3c1a2e-9b7d-4c11-8a55-0e2f6d9c1b44
--alertmanager.url=http://alertmanager.mon:9093
怎么让群里能直接 @ 到人?在抓取配置里打 owner 标签,告警模板用 {{ $labels.owner }} 渲染。缺少 owner 的 target 视为台账不合格,纳入月度巡检项:
scrape_configs:
- job_name: blackbox-https
metrics_path: /probe
params: { module: [https_2xx] } # blackbox_exporter 0.24+ 的 https_2xx 模块
static_configs:
- targets: ['sslgood.com:443']
labels: { team: sre, owner: zhangsan } # 缺失即不合格
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
最后别只盯 TLS 证书。据 Let’s Encrypt 文档,其证书有效期 90 天、建议在剩余 30 天前续签;而 ISRG Root X1 根证书 notAfter 为 2035-06-04,域名注册和 DNS 托管又各按年付到期。四类到期一旦失守,用户侧表现都是“网站打不开”,混在一起排查会浪费大量时间——建议合并成一张「到期日历」,每月第一个工作日 review:
| 到期对象 | 典型周期 | 监控手段 | 失效表现 |
|---|---|---|---|
| 站点 TLS 证书 | 90 天(Let’s Encrypt) | probe_ssl_earliest_cert_expiry |
ERR_CERT_DATE_INVALID |
| 域名注册 | 1 年 | RDAP/whois 查询 | 域名被抢注、解析停摆 |
| DNS 解析托管 | 年付 | 注册商控制台 + 解析巡检 | 全站无法解析 |
| CA 根证书 | 10-20 年 | CA 官方公告 | 老客户端校验失败 |
只监控证书到期日,够不够?不够。到期监控只能回答”证书还在不在有效期内”,回答不了”这次握手本身是否安全”。同一个 Prometheus 探针进程里顺手把 TLS 健康度一起巡检,成本几乎为零,却能提前发现降级到 TLS 1.0、OCSP stapling 静默失效、证书链多挂一张这类不会触发到期告警的问题。
怎么快速确认服务端只开了 TLS 1.2/1.3、没留 3DES/RC4?两种工具各有分工,按下表选:
| 工具 | 适用场景 | 典型耗时 | 关键输出 |
|---|---|---|---|
| nmap –script ssl-enum-ciphers | 人工排查,输出按协议分组的套件清单 | 5–20 秒 | 每个套件后跟 strength 评级 A–F |
| testssl.sh 3.2 | 放进 CI / 定时任务,有退出码 | 30–90 秒 | –severity HIGH 时发现问题即非 0 退出 |
| openssl s_client | 验证单个协议版本是否可协商 | <1 秒 | 握手失败时的 alert 报文 |
# nmap 7.94,ssl-enum-ciphers 随 nmap 分发,无需额外安装
nmap --script ssl-enum-ciphers -p 443 sslgood.com
# testssl.sh 3.2:只报 HIGH 及以上问题,适合接 CI
./testssl.sh --quiet --severity HIGH --protocols --fs sslgood.com:443
echo "退出码 $?" # 非 0 说明存在高危项
# 单独验证 TLS 1.1 是否已被拒绝(RFC 8996 已于 2021-03 正式弃用 TLS 1.0/1.1)
openssl s_client -connect sslgood.com:443 -servername sslgood.com -tls1_1 </dev/null
# 期望:alert protocol version / no protocols available
目标基线对齐 Mozilla 的 intermediate 配置:仅 TLS 1.2 + TLS 1.3,禁用 3DES、RC4、CBC 优先套件。据 Mozilla Server Side TLS 指南,intermediate 是”兼容主流客户端且无已知弱点”的推荐档位。
OCSP Stapling 怎么确认真的生效?很多 Nginx 站点写了 ssl_stapling on 却忘了配 resolver,结果 stapling 静默不生效、日志里也不报错——这是最典型的”看起来配了其实没配”。
# 检查服务端是否在握手中附带 OCSP 响应
openssl s_client -connect sslgood.com:443 -status -servername sslgood.com </dev/null 2>/dev/null
| grep -A3 "OCSP Response"
# 正常输出应包含:
# OCSP Response Status: successful (0x0)
# Response verify OK
# 若只有 "OCSP response: no response sent",说明 stapling 未生效
# Nginx 中让 stapling 真正生效的最小配置(1.3.x 通用)
ssl_stapling on;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/nginx/chain.pem; # 必须含完整中间链
resolver 8.8.8.8 1.1.1.1 valid=300s; # 缺这一行 stapling 静默失效
resolver_timeout 5s;
证书链完整性怎么验?本地验一遍、线上数一遍:
# 本地验证:leaf + 中间链能否被系统根证书验通
openssl verify -CAfile /etc/ssl/certs/ca-certificates.crt
-untrusted chain.pem leaf.pem
# 期望输出:leaf.pem: OK
# 常见失败:unable to get local issuer certificate(缺中间证书)
# unable to verify the first certificate(顺序错/链不全)
# 线上确认服务端实际下发了几张证书
openssl s_client -showcerts -connect sslgood.com:443 -servername sslgood.com </dev/null 2>/dev/null
| grep -c "BEGIN CERTIFICATE"
返回 2–3 张属于健康区间;4 张以上会明显增加握手字节数(每张约 1–1.5 KB),移动端弱网下会拖慢首包,建议用 ssl_trusted_certificate 挂全链、ssl_certificate 只挂 leaf+必要中间证书的方式裁剪。
怎么发现”别的 CA 偷偷给我签了证书”?两件事:限制谁能签、监控谁签过。据 RFC 8659(CAA),CAA 记录可约束允许签发的 CA:
dig +short CAA sslgood.com
# 期望:0 issue "letsencrypt.org"
# 0 iodef "mailto:security@sslgood.com"
# 订阅 CT 日志,比对新增条目(建议每月一次)
curl -s 'https://crt.sh/?q=%25.sslgood.com&output=json'
| jq -r '.[].name_value' | sort -u
把这条 curl 的输出做 diff,是发现未授权签发最便宜的手段。
HSTS 要不要一上来就设一年?不要。先短后长:
curl -sI https://sslgood.com | grep -i strict-transport-security
# 推荐最终形态:Strict-Transport-Security: max-age=31536000; includeSubDomains
首次上线先设 max-age=300 观察一周,确认所有子域都能走 HTTPS 后再拉长到 31536000。因为 HSTS 一旦下发,浏览器在 max-age 内会强制 HTTPS,回滚窗口就是你自己挖的坑。
还有哪些到期问题不在这套巡检里?本节开头说的”到期监控”其实只覆盖了服务端证书,下面几类同样会到期,但故障表现完全不同:ACME 协议(RFC 8555)自动续期失败时,客户端往往只留一行 cron 日志;CSR 生成(openssl req -new -newkey rsa:2048 -nodes -keyout key.pem -out req.csr)产出的私钥同样有生命周期管理问题;国密 SM2 双证书体系下签名证书与加密证书各有独立有效期,需分别监控;最容易被漏掉的是 mTLS 客户端证书——它没有浏览器提示,过期后表现为接口返回 400(Nginx 默认 “The SSL certificate error”)或 495(客户端证书校验失败),必须单独建一个探针项,用 openssl s_client -cert client.pem -key client.key -connect api.sslgood.com:443 定期拨测。
90 天证书建议 T-30 天 warning、T-14 天 critical、T-7 天电话;47 天证书按 T-21/10/5 设置。阈值以 notAfter 的 UTC 时间为基准,并预留至少一个工作日加 CDN 生效的 30 分钟。用 Let's Encrypt 时,官方建议每天运行两次续期任务,所以告警既要覆盖「即将到期」,也要覆盖「续期失败」。
有。blackbox_exporter 0.25 + Prometheus + Alertmanager 全开源,单实例可监控 500 个以上域名,常驻内存约 100MB;配合 certbot 的 systemd timer 即可形成闭环。真正的成本是人日:首次部署约 2-4 小时,之后每月约 0.5 人日维护台账和演练。
已有 Prometheus 生态选 blackbox_exporter,指标可与业务告警共用一套路由、静默与抑制规则;以主机为单位管理、已部署 Zabbix 6.0/7.0 的,用内置 web.certificate.get[host,443] 更省事,无需新增组件。两者都只负责「发现」,不能替代续期自动化,仍需 certbot 或 cert-manager 兜底。
服务端只下发了叶子证书,没有携带中间证书。Nginx 的 ssl_certificate 要指向 fullchain.pem 而不是 cert.pem;用 openssl s_client -showcerts 数一下返回张数,正常应为 2-3 张。补全后 Go、Java、Python requests 等严格校验的客户端即可恢复正常。
自动续期会失败:80 端口被安全组关闭、DNS API Token 过期、容器重建丢失 crontab、磁盘写满导致写入失败都会让续期静默中断。certbot 失败时只写日志不告警,官方建议每天运行两次正是为了留出重试窗口,但重试全部失败时仍需监控兜底。
不够。要把 SAN 列表中的每个名字、www、api、static、管理后台以及非 443 端口(8443/9443)都纳入;泛域名 *.example.com 不覆盖二级子域。中间证书与根证书也要监控,2021-09-30 DST Root CA X3 过期就曾导致大量老客户端握手失败,而叶子证书本身完全正常。
先执行 curl -vI https://域名 –max-time 10,出现 SSL certificate problem 属于证书链或有效期问题,出现 Connection timed out 属于网络或防火墙问题。再用 openssl s_client -connect :443 -servername 逐节点验证,可定位是 CDN 边缘、负载均衡还是源站的问题。
本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。