负载均衡 SSL 证书部署实战:Nginx、HAProxy 与云 LB 的 TLS 终止、SNI 与轮换
负载均衡 SSL 证书部署的核心结论:七层 LB(Nginx、HAProxy、AWS ALB)在 LB 上终止 TLS,证书只需装在 2-4 台 LB 节点;四层 LB(LVS/DR、NLB 的 TCP 监听)不解密,证书必须下发到每一台后端。 证书链不完整是最高频故障,ssl_certificate 必须指向 fullchain.pem(叶子证书 + 中间证书),只配叶子证书时 Java 8、Android 7 以下与微信内置浏览器会直接握手失败。 单台 8 核 16GB 的 Nginx 1.24 做 TLS 1.3 终止,ECDSA P-256 证书下约 8000-12000 次握手/秒,RSA 2048 约 3000-5000 次/秒,扩容优先加节点。 证书更新后用 nginx -s reload 平滑生效,HAProxy 2.5 及以上支持 seamless reload;4 台节点逐个用 openssl x509 -noout -fingerprint -sha256 比对指纹,是发现漏更新节点最快的办法。 Let's Encrypt 证书有效期 90 天(ACME v2,RFC 8555),速率限制为每个注册域名每周 50 张,配合 acme.sh 的 --reloadcmd 可把人工轮换成本降到接近 0。
为什么负载均衡后面的 SSL 证书总是出问题?先看清三个根本原因
同一个域名在桌面 Chrome 打得开、安卓手机却报错;四台负载均衡里只有一台是新证书;扩容到 40 台后端后,一次续期花了一整天——这些”玄学故障”几乎都能归到三个根本原因上。先定位原因,再谈负载均衡 ssl证书部署的具体命令,返工率会低很多。
原因一:TLS 终止点决定了证书装在哪、装几份。七层负载均衡在 LB 上完成握手,证书和私钥只需部署在 2-4 台 LB 节点;四层负载均衡只转发 TCP 报文,握手发生在后端,证书必须下发到每一台服务器。节点从 4 台扩到 40 台,轮换工作量同比放大 10 倍,而且漏装一台就是一个线上事故。
| 维度 | 七层终止:Nginx 1.24 / HAProxy 2.8 / AWS ALB / 阿里云 ALB | 四层透传:LVS/DR、AWS NLB 的 TCP 监听、F5 Performance L4 |
|---|---|---|
| 握手完成位置 | 负载均衡节点 | 每一台后端服务器 |
| 证书与私钥份数 | 2-4 份(LB 节点数) | 等于后端节点数,4→40 台即放大 10 倍 |
| 后端可见信息 | HTTP,可注入 X-Forwarded-Proto | 原始 TCP,看不到 SNI 与 Host |
| 轮换粒度 | 一次部署 + 逐台 reload | 逐台下发 + 逐台 reload,易漏装 |
原因二:证书链不完整,是最高频故障。Nginx 的 ssl_certificate 必须指向 fullchain.pem(站点证书 + 中间证书)。只配叶子证书时,桌面 Chrome 可能靠 AIA Fetch 侥幸补链成功,但 Android 7 以下、Java 8、微信内置浏览器会直接失败并抛出 unable to get local issuer certificate。据 CA/Browser Forum Baseline Requirements 第 7.1.2.2 条,服务器应发送完整证书链,且不得包含根证书——多塞根证书同样会让部分老旧客户端判链失败。
# /etc/nginx/conf.d/ssl_default.conf (Nginx 1.24 验证通过)
server {
listen 443 ssl default_server; # 兜底站点:不支持 SNI 的客户端落到这里
server_name _;
ssl_certificate /etc/nginx/ssl/www.fullchain.pem; # 必须是 fullchain,不能只放叶子证书
ssl_certificate_key /etc/nginx/ssl/www.key;
ssl_trusted_certificate /etc/nginx/ssl/www.chain.pem; # 供 OCSP stapling 使用,不含根证书
ssl_session_cache shared:SSL:10m; # 默认 none;10MB 约存 4 万个会话,跨 worker 但不跨节点
ssl_session_timeout 1d; # 默认 5m
ssl_session_ticket_key /etc/nginx/ssl/ticket.key; # 多节点共用同一文件,票据才能跨节点复用
return 444; # 未匹配到具体域名的连接直接断开
}
原因三:SNI、会话状态与轮换窗口的不一致。单台 LB 承载 20 个域名时,每个域名要有独立 server 块,并用 listen 443 ssl default_server 兜底;不支持 SNI 的客户端(Java 6u45 之前、Android 2.x、部分工业 IoT 固件)只会拿到默认证书,浏览器报 ERR_CERT_COMMON_NAME_INVALID。会话层同理:4 台 LB 各自持有独立的 session ticket key(Nginx 默认自动生成、重启即变),客户端复用票据落到另一台节点时被迫完整握手,实测握手 QPS 上升 30%-60%,P99 抖动 20-80ms。至于轮换,Let’s Encrypt 证书有效期 90 天(ACME v2,RFC 8555),官方建议剩余 30 天时续期;真正的事故多发生在”1 号节点已换、2-4 号还是旧证书”的那 5-30 分钟里,而只打 VIP 的探针完全看不出来——必须逐节点直连校验:
# 逐台 LB 直连校验,不要只打 VIP
for h in lb1 lb2 lb3 lb4; do
echo "== $h"
# Verify return code: 0 才是链完整;21 = 缺中间证书;10 = 证书过期
openssl s_client -connect $h:443 -servername www.example.com -showcerts /dev/null
| grep 'Verify return code'
# 证书条数应为 2(叶子 + 中间),出现 3 条以上要确认没把根证书塞进去
openssl s_client -connect $h:443 -servername www.example.com /dev/null
| grep -c 'BEGIN CERTIFICATE'
done
把这三个原因对齐后,负载均衡 ssl证书部署的复杂度就收敛为两件事:终止点选在七层还是四层(决定分发半径),以及每台节点上的”证书链 + SNI 默认站点 + 共享 ticket key”是否完全一致(决定故障半径)。
负载均衡 SSL 证书部署的完整实操步骤(6 步)
六步的顺序不是随便排的:先确定 TLS 在哪一层终止,才能决定证书装在哪台机器、以什么方式重载。把证书装到错误的层级,是负载均衡 SSL 证书部署里最常见的返工原因。下面每一步都给可复制命令,命令基于 OpenSSL 1.1.1+、Nginx 1.18+、HAProxy 2.5+、acme.sh 3.x 验证。
-
确认终止点:七层终止还是四层透传?先在客户端看协商结果,再在 LB 上抓包比对。
# 客户端:确认实际协商的 TLS 版本与套件 curl -sv https://www.example.com 2>&1 | grep -i 'SSL connection' # 典型输出:* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384 # LB 节点:抓 443 流量留证(需要 CAP_NET_RAW,建议加 -c 100 限包) tcpdump -i eth0 port 443 -w tls.pcap -c 100判定规则:LB 上能抓到 TLSv1.3 的 Client Hello,且 upstream 侧后端端口是 80/8080 明文,即七层终止,证书装在 LB;LB 只做 NAT/DNAT、不改写数据包,后端自身监听 443,则为四层透传,证书必须装在后端服务器,LB 只负责 SNI 路由(HAProxy 的
tcp-request inspect-delay+req_ssl_sni)。 -
生成私钥与 CSR。RSA 与 ECC 二选一,后者握手更快、体积更小,但需客户端支持(现代浏览器与 OpenSSL 1.1.1+ 均支持 P-256)。
# RSA 2048(兼容性最好) openssl req -new -newkey rsa:2048 -nodes -keyout example.com.key -out example.com.csr -subj /CN=www.example.com -addext subjectAltName=DNS:www.example.com,DNS:example.com # ECC prime256v1 / P-256 openssl req -new -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -nodes -keyout example.com.key -out example.com.csr -subj /CN=www.example.com -addext subjectAltName=DNS:www.example.com,DNS:example.com关键坑:
-addext是 OpenSSL 1.1.1 才引入的参数,CentOS 7 自带的 1.0.2k 会直接报req: Unknown option or ciphersuite addext,此时必须手写openssl.cnf的[v3_req]段并配合-config。另外 CN 已在 Chrome 58 之后被忽略,SAN 才是唯一有效标识,据 RFC 5280 与 CA/Browser Forum Baseline Requirements 要求,SAN 必须至少包含一个 DNS 名。 -
合并并校验证书链。服务器必须下发「站点证书 + 中间证书」,缺中间证书会让 Android 与部分 Java 客户端报
unable to get local issuer certificate。# 顺序不能反:站点证书在前,中间证书在后 cat example.com.crt intermediate.crt > fullchain.pem # 校验:必须输出 example.com.crt: OK openssl verify -untrusted intermediate.crt example.com.crt # 常见失败:error 21 at 0 depth lookup: unable to verify the first certificate中间证书请从签发机构(Let’s Encrypt 的
letsencrypt.org/certificates、DigiCert 的 Repository 页)下载,不要用浏览器导出——浏览器导出常把自签根证书一并打包,反而使链变长且校验失败。 -
分发到所有 LB 节点。手工 scp 漏节点是轮换事故的头号来源,用 Ansible 一次推齐。
# 统一路径 /etc/nginx/ssl/,权限 600、属主 root:root ansible -i lb_hosts all -m copy -a 'src=fullchain.pem dest=/etc/nginx/ssl/fullchain.pem mode=0600 owner=root group=root' ansible -i lb_hosts all -m copy -a 'src=example.com.key dest=/etc/nginx/ssl/example.com.key mode=0600 owner=root group=root' -
平滑重载,别用 restart。Nginx 的
reload会向 master 发 HUP,旧 worker 处理完存量连接才退出,连接不断;HAProxy 从 2.5 起支持 master-worker 无缝重载,2.4 及更早版本 reload 等同于重启,会短暂拒绝新连接。# Nginx:先语法检查,失败绝不 reload nginx -t && nginx -s reload # HAProxy 2.5+ systemctl reload haproxy方案 证书路径 重载命令 是否断连 SNI 多证书 Nginx 1.18+ /etc/nginx/ssl/fullchain.pem nginx -s reload 否(旧 worker 优雅退出) 多 server 块 + server_name HAProxy 2.5+ /etc/haproxy/certs/(合并 pem) systemctl reload haproxy 否 crt-list 目录,默认按 SNI 选证书 HAProxy ≤2.4 同上 systemctl reload haproxy 是,需先摘 keepalived VIP 支持 云 LB(ALB/NLB/CLB) 证书上传至证书管理服务 控制台/API 更新监听器 否,由云厂商滚动生效 SNI 多证书需显式绑定 -
接入自动续期,把重载命令交给续期工具。Let’s Encrypt 证书有效期已缩短至 90 天并持续下探,手工续期不可持续。
acme.sh --install-cert -d example.com --key-file /etc/nginx/ssl/example.com.key --fullchain-file /etc/nginx/ssl/fullchain.pem --reloadcmd 'nginx -s reload' # 安装时默认写入的 cron(每天 00:17 检查一次,仅在到期前 30 天真正续签) # 17 0 * * * "/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" > /dev/null集群场景把
--reloadcmd换成调用 Ansible Playbook(推送 + 分批 reload)或 Consul Template 渲染,确保 4 台节点同批次更新;只续了 1 台而其余 3 台仍是旧证书,会在负载均衡轮询时表现为「随机报证书过期」。
配置与命令示例:Nginx、HAProxy、云 LB 与验证命令
下面四组片段可以直接复制到生产环境,每一组都标注了适用版本与关键默认值,末尾给出三层验证命令的期望输出。
1) Nginx 1.24 七层终止:为什么 ssl_prefer_server_ciphers off?因为 TLS 1.3 的密码套件顺序由服务端 ssl_conf_command Ciphersuites 控制,而 TLS 1.2 下让客户端排序能优先命中 ChaCha20(移动端无 AES 硬件加速时更快),这也是 Mozilla SSL Configuration Generator「intermediate」档的默认建议。ssl_session_tickets off 的理由是无状态会话票据的密钥无法轮换,长期使用会削弱前向保密;关闭后靠 ssl_session_cache shared:SSL:10m(约 4 万会话)承载复用。
# /etc/nginx/conf.d/site.conf —— Nginx 1.24.x
# 注意:1.24 用 listen ... http2 写法;http2 on; 指令需 1.25.1+
server {
listen 443 ssl default_server;
server_name www.example.com;
ssl_certificate /etc/nginx/ssl/fullchain.pem; # 叶子证书 + 中间 CA,顺序不可颠倒
ssl_certificate_key /etc/nginx/ssl/example.com.key; # 权限 600,属主 root
ssl_protocols TLSv1.2 TLSv1.3; # 默认值仅 TLSv1.2 TLSv1.3(1.23.4+)
ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305;
ssl_prefer_server_ciphers off; # 默认 off,保持默认即可
ssl_session_cache shared:SSL:10m; # 默认 none
ssl_session_timeout 1d; # 默认 5m
ssl_session_tickets off; # 默认 on,建议关
ssl_stapling on;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/nginx/ssl/chain.pem; # 只放中间 CA,不要放叶子证书
resolver 223.5.5.5 119.29.29.29 valid=300s; # 无此指令 stapling 不生效
add_header Strict-Transport-Security 'max-age=31536000; includeSubDomains' always;
location / {
proxy_pass https://backend_pool;
proxy_ssl_server_name on; # 向后端发送 SNI,默认 off
proxy_ssl_name www.example.com;
proxy_ssl_verify on; # 默认 off,开启后必须配 trusted_certificate
proxy_ssl_trusted_certificate /etc/nginx/ssl/backend_ca.pem;
proxy_set_header X-Forwarded-Proto https;
}
}
证书链顺序写错或私钥配错时,nginx -t 会直接抛出可检索的报错,例如:nginx: [emerg] SSL_CTX_use_PrivateKey(".../example.com.key") failed (SSL: error:0B080074:x509 certificate routines:X509_check_private_key:key values mismatch);ssl_trusted_certificate 误指向 fullchain 则 OCSP 校验失败、stapling 静默不生效。
2) HAProxy 2.8 终止:crt 指向目录时,HAProxy 用文件名做 SNI 精确匹配,因此文件名必须是 www.example.com.pem,内容为「fullchain + 私钥」按顺序拼接(与 Nginx 的两个文件语义相反)。2.7 起可用 ocsp-update on 让 HAProxy 自行抓取并刷新 OCSP 响应,省掉 cron 脚本。
# /etc/haproxy/haproxy.cfg —— HAProxy 2.8.x
global
ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256
ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets # no-tls-tickets 对应前向保密
# 2.7+:自动维护 OCSP,无需外部定时任务
# ocsp-update.mindelay 600 / ocsp-update.maxdelay 3600 为默认值
frontend fe_https
bind *:443 ssl crt /etc/haproxy/certs/ alpn h2,http/1.1
mode http
default_backend be_app
backend be_app
mode http
server app1 10.0.1.11:8443 check ssl verify required ca-file /etc/ssl/certs/ca-certificates.crt
# 拼接证书(顺序:叶子 → 中间 CA → 私钥)
# cat fullchain.pem example.com.key > /etc/haproxy/certs/www.example.com.pem
# 热更新单张证书(免 reload,2.6+):echo "set ssl cert /etc/haproxy/certs/www.example.com.pem <<n$(cat new.pem)n" | socat stdio /var/run/haproxy.sock
常见启动失败:[ALERT] unable to load SSL private key from PEM file '/etc/haproxy/certs/www.example.com.pem'——九成是把私钥放在了 fullchain 之前。
| 能力 | Nginx 1.24 | HAProxy 2.8 | 云 LB(ALB/CLB) |
|---|---|---|---|
| SNI 多证书 | 多个 server 块 + server_name |
crt 目录按文件名自动匹配 |
证书列表绑定,控制台/API 上传 |
| 证书热更新 | nginx -s reload(平滑) |
runtime API set ssl cert 或 reload |
ACM/证书服务自动,秒级生效 |
| OCSP Stapling | 需 resolver 手动开启 |
2.7+ ocsp-update on 自动 |
多数由平台托管,不可配 |
| 密码套件可控度 | 逐条 ssl_ciphers |
ssl-default-bind-ciphers |
仅能选预置 policy(如 ELBSecurityPolicy-TLS13-1-2-2021-06) |
3) 验证:先单节点,再走 SNI 灰度。openssl s_client 的 -verify_hostname 在 OpenSSL 1.1.0+ 才有,</dev/null 用于避免交互挂起:
openssl s_client -connect 10.0.0.10:443 -servername www.example.com
-showcerts -verify_hostname www.example.com
-CAfile /etc/ssl/certs/ca-certificates.crt </dev/null
# 期望输出:
# Verify return code: 0 (ok)
# Protocol : TLSv1.3
# Cipher : TLS_AES_128_GCM_SHA256
# 且 -showcerts 至少输出 2 段 -----BEGIN CERTIFICATE-----(叶子 + 中间 CA)
# 绕过 DNS 直打指定节点,验证 ALPN 与协议协商(灰度常用)
curl -svo /dev/null --resolve www.example.com:443:10.0.0.10
https://www.example.com --tlsv1.2 --http2 2>&1 | grep -E 'SSL connection|ALPN|HTTP/2'
# 期望:SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256
# ALPN, server accepted to use h2
# < HTTP/2 200
4) 云 LB 与轮换:AWS ALB 与阿里云 SLB 都用「监听器 + 证书 ID + 预置策略」三件套,策略名即密码套件边界:
# AWS ALB(TLS 1.3 + 1.2 混合策略,2021-06 版)
aws elbv2 create-listener
--load-balancer-arn arn:aws:elasticloadbalancing:cn-north-1:123456789012:loadbalancer/app/prod-alb/50dc6c495c0c9188
--protocol HTTPS --port 443
--certificates CertificateArn=arn:aws:acm:cn-north-1:123456789012:certificate/xxxx
--ssl-policy ELBSecurityPolicy-TLS13-1-2-2021-06
--default-actions Type=forward,TargetGroupArn=arn:aws:elasticloadbalancing:cn-north-1:123456789012:targetgroup/tg-app/yyyy
# 阿里云 SLB(tls_cipher_policy_1_2_strict 仅允许 TLS 1.2+ 强套件)
aliyun slb CreateLoadBalancerHTTPSListener --LoadBalancerId lb-xxx
--ListenerPort 443 --ServerCertificateId 1234567
--TLSCipherPolicy tls_cipher_policy_1_2_strict
# acme.sh 集群续期:签发后统一推送并重载
acme.sh --issue -d www.example.com -d example.com
--webroot /var/www/acme --server letsencrypt
# 注意:acme.sh 默认 CA 是 ZeroSSL,必须显式 --server letsencrypt 才走 Let's Encrypt
acme.sh --install-cert -d www.example.com --webroot /var/www/acme
--key-file /etc/nginx/ssl/example.com.key
--fullchain-file /etc/nginx/ssl/fullchain.pem
--reloadcmd 'ansible-playbook -i lb_hosts deploy_cert.yml && nginx -s reload'
据 Let’s Encrypt 官方文档,ACME v2 签发的证书有效期 90 天,官方建议在剩余 30 天时续期;acme.sh 默认 --days 60 即按此窗口触发。据 RFC 8446(TLS 1.3),会话恢复以 PSK 取代 session ID,因此 Nginx 的 ssl_session_cache 与 HAProxy 的 no-tls-tickets 在 TLS 1.3 下对复用率的影响要实测而非照搬 TLS 1.2 经验——用 openssl s_client -reconnect 连续握手,观察 Reused, TLSv1.3 才是有效判据。
方案选型对比:TLS 终止、四层透传与云托管怎么选
选型的第一个问题不是”哪个性能好”,而是”私钥允许放在哪一层”。七层终止(TLS 在负载均衡器上解开)意味着后端只跑 HTTP,私钥集中在少数几台 LB 上,轮换时改一处即可;四层透传则把私钥复制到每一台后端服务器,任何一台机器被攻破都会泄露。金融、医疗类业务的安全审查通常明确要求私钥只存在于 HSM 或 LB,这时七层终止几乎是唯一解。负载均衡 SSL 证书部署的复杂度,八成来自这个决定而不是软件本身。
| 方案 | 工作层级 | 证书存放位置 | SNI 多证书 | OCSP Stapling | 私钥下发到后端 | 典型成本 |
|---|---|---|---|---|---|---|
| Nginx 1.24 / 1.26 终止 | L7 | 每台 LB 的 /etc/nginx/ssl |
支持 | 支持(ssl_stapling on) |
否 | 软件 0 元 |
| HAProxy 2.8 终止 | L7 | /etc/haproxy/certs/ 目录 |
支持(按文件名匹配) | 2.7+ 支持 ocsp-update |
否 | 软件 0 元 |
| AWS ALB / 阿里云 ALB | L7 | 云证书服务(ACM / 数字证书管理服务) | 支持 | 云托管 | 否 | 按 LCU 或实例规格计费 |
| AWS NLB / LVS DR | L4(NLB 可选 TLS 终止) | 后端服务器 | 透传,由后端处理 | 后端处理 | 是 | NLB 按 LCU 计费,LVS 0 元 |
| F5 BIG-IP | L4 / L7 | Local Traffic › Profiles › SSL Client | 支持 | 支持 | 视 SSL Profile 模式 | 许可 + 年保 |
云上方案最容易踩的坑是安全策略默认值。AWS ALB 新建 HTTPS 监听器默认使用 ELBSecurityPolicy-TLS13-1-2-2021-06,同时启用 TLS 1.3 与 1.2、最低 TLS 1.2;如果后端还挂着只支持 TLS 1.0 的老客户端,只能退到 ELBSecurityPolicy-TLS-1-1-2017-01,而该策略不满足 PCI DSS 对 TLS 1.2 起步的要求——这个取舍必须写进变更评审,而不是等上线后报错再改。
# 查看 ALB 的 HTTPS 监听器实际生效的安全策略(AWS CLI v2)
aws elbv2 describe-listeners
--load-balancer-arn arn:aws:elasticloadbalancing:cn-north-1:123456789012:loadbalancer/app/prod-alb/50dc6c495c0c9188
--query "Listeners[?Protocol=='HTTPS'].[Port,SslPolicy,Certificates[0].CertificateArn]"
--output table
# 判断 NLB 是 TCP 透传还是 TLS 终止:Protocol 为 TLS 说明证书挂在 NLB 上
aws elbv2 describe-listeners --load-balancer-arn <nlb-arn>
--query "Listeners[].[Port,Protocol,SslPolicy]" --output table
同一个集群里不要混用 NLB 的 TCP 与 TLS 两种监听模式,否则证书轮换脚本要维护”云上证书 + 后端文件”两套路径,漏掉一处就是线上告警。自建方案里,Nginx 与 HAProxy 的关键差异在于 SNI 多证书的寻址方式:HAProxy 把证书文件按域名命名放进目录,bind ... crt /etc/haproxy/certs/ 即按 SNI 自动匹配;Nginx 则要为每个域名显式写 server_name 与 ssl_certificate,证书多了容易写漏。
# HAProxy 2.8:目录方式加载多证书 + 自动 OCSP 更新(2.7+ 新增)
global
ocsp-update on # 默认 off,开启后自动刷新 stapling 响应
frontend fe_https
bind :443 ssl crt /etc/haproxy/certs/ alpn h2,http/1.1
default_backend be_app
# Nginx 1.24/1.26:会话复用直接决定握手吞吐
ssl_session_cache shared:SSL:50m; # 默认 none;1MB≈4000 个会话,50m 约 20 万
ssl_session_timeout 1h; # 默认 5m
ssl_stapling on; # 默认 off,需同时配置 resolver 与 ssl_stapling_verify
ssl_stapling_verify on;
resolver 100.100.2.136 valid=30s;
性能量级可作为扩容依据:单台 8 核 16GB 的 Nginx 1.24 做 TLS 1.3 终止,ECDSA P-256 证书约 8000–12000 次握手/秒,RSA 2048 只有 3000–5000 次/秒——ECC 证书在握手环节的收益比换 CPU 更直接。同规格 HAProxy 2.8 略高,差距主要来自事件模型而非 TLS 库。据 RFC 8446,TLS 1.3 的 PSK 恢复(session ticket)能省掉一次完整密钥交换,所以 ssl_session_cache 与 ssl_session_tickets 必须打开,否则压测数字会明显低于上表。验证手段统一用 OpenSSL 3.x 的 s_client,带 -servername 才能命中 SNI 分支:
# 指定 SNI 与协议版本,确认 LB 实际返回的证书链与协商结果
openssl s_client -connect lb.example.com:443 -servername api.example.com
-tls1_2 -brief </dev/null
选型建议可以归纳成三条判断:需要私钥集中管控、后端可改 HTTP,选七层终止(Nginx/HAProxy/云 ALB);需要端到端加密且能接受私钥落到后端,选四层透传(NLB TCP / LVS DR);证书已托管在 ACM 或数字证书管理服务、希望免运维轮换,优先云 LB。Mozilla SSL Configuration Generator 给出的 Nginx、HAProxy 配置模板可作为 TLS 参数基线,再按 Let’s Encrypt 的 90 天有效期节奏设计轮换脚本——这也是负载均衡 SSL 证书部署中最容易在第二个月才暴露问题的环节。
这 6 条报错几乎覆盖了负载均衡 SSL 证书部署中九成以上的 TLS 故障,按根因可归为三类:证书链不完整(1、4、6)、密钥/证书不配对(2)、配置项指错文件或协议无交集(3、5)。据 Let’s Encrypt 文档,其签发的 fullchain.pem 本身就是”叶子证书 + 中间证书”的拼接产物,直接部署即可,只有手工拼装或从商业 CA 下载单文件证书时才容易漏掉中间证书——这也是第 1、6 条报错最常见的来源。
| 报错关键字 | 根因 | 一条命令定位 |
|---|---|---|
| unable to get local issuer certificate | 只发了叶子证书 | openssl s_client -showcerts 数 CERTIFICATE 段数 |
| key values mismatch | 私钥与证书不是一对 | 比对 modulus/pubkey 的 MD5 |
| ssl_stapling ignored | 缺 ssl_trusted_certificate | 检查该指令指向的是链而非叶子 |
| verify error: (20) + 502 | 回源校验缺信任 CA | proxy_ssl_trusted_certificate 是否含后端签发 CA |
| ERR_SSL_VERSION_OR_CIPHER_MISMATCH | 协议或套件无交集 | 分版本 -tls1_2/-tls1_3 探测 |
| PKIX path building failed | JDK 拿不到中间证书 | 服务端 -showcerts 看链 |
1. curl: (60) unable to get local issuer certificate 怎么办?这是客户端拿不到中间证书、无法构建到根的路径。先用 -showcerts 确认服务端返回几段证书(应为 2 段及以上),再拼接并校验。适用于 Nginx 1.11.0+,其中 ssl_certificate 可直接指向含链文件,旧的 ssl_chain_cert 已废弃。
# 统计服务端实际下发的证书段数,正常应 ≥ 2
openssl s_client -connect lb.example.com:443 -servername lb.example.com -showcerts /dev/null
| grep -c 'BEGIN CERTIFICATE'
# 拼接顺序:叶子证书在前,中间证书在后,顺序反了同样报 20 号错误
cat example.com.crt chain.pem > fullchain.pem
# 本地验证链路(-untrusted 传入中间证书)
openssl verify -untrusted chain.pem fullchain.pem
nginx -t && nginx -s reload # 平滑重载,不中断现有连接
2. nginx: [emerg] SSL_CTX_use_PrivateKey_file(…) failed (SSL: … X509_check_private_key:key values mismatch) 是什么原因?证书与私钥不是同一对密钥。RSA 用 modulus 比对,ECC/Ed25519 用公钥比对,两个 MD5 必须完全一致。典型场景是证书续期后只替换了 .crt 而私钥仍是旧文件。
# RSA 证书
openssl x509 -noout -modulus -in fullchain.pem | openssl md5
openssl rsa -noout -modulus -in example.com.key | openssl md5
# ECDSA / Ed25519 证书(无 modulus,改用公钥)
openssl x509 -noout -pubkey -in fullchain.pem | openssl md5
openssl pkey -pubout -in example.com.key | openssl md5
3. nginx: [warn] ‘ssl_stapling’ ignored, issuer certificate not found for certificate 要不要管?说明 ssl_trusted_certificate 未配置或误指向了叶子证书。它只影响 OCSP Stapling,不影响握手本身;但若开了 ssl_stapling_verify on,Stapling 就会彻底失效。resolver 默认超时 30s,内网环境需放行到上游 DNS 的 53 端口,否则同样取不到 OCSP 响应。
ssl_stapling on;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/nginx/ssl/chain.pem; # 中间证书链,切勿放叶子证书
resolver 223.5.5.5 valid=300s; # 默认 30s,建议显式指定
resolver_timeout 5s;
4. upstream SSL certificate verify error: (20:unable to get local issuer certificate) while SSL handshaking to upstream,客户端还收到 502?这是 LB 到后端 re-encrypt(重新加密)时开启了回源校验,但信任链文件缺失或不含后端证书的签发 CA。注意 proxy_ssl_verify 默认是 off,一旦手动打开就必须同时提供 proxy_ssl_trusted_certificate,否则所有回源请求都会在握手阶段失败并转成 502。
proxy_ssl_verify on;
proxy_ssl_verify_depth 2; # 默认 1,链较长时需放宽
proxy_ssl_trusted_certificate /etc/nginx/ssl/upstream_ca.pem;
proxy_ssl_name backend.internal; # SNI 与校验名,默认取 proxy_pass 主机名
proxy_ssl_server_name on;
5. 浏览器报 ERR_SSL_VERSION_OR_CIPHER_MISMATCH 怎么定位?这是协议版本或密码套件无交集。Nginx 1.23.0 起 ssl_protocols 默认值已改为 TLSv1.2 TLSv1.3,旧版本默认还包含 TLSv1/1.1。另一个高发场景是证书为 ECDSA 而 ssl_ciphers 只保留了 RSA 套件——TLS 1.2 下会直接协商失败(RFC 5246 的 cipher_suite 协商规则),TLS 1.3 则不受 ssl_ciphers 影响。
# 逐版本探测,哪一版失败就锁定是哪一版的问题
openssl s_client -connect lb.example.com:443 -servername lb.example.com -tls1_2 </dev/null
openssl s_client -connect lb.example.com:443 -servername lb.example.com -tls1_3 </dev/null
# 单独验证某个套件是否存在
openssl s_client -connect lb.example.com:443 -cipher 'ECDHE-RSA-AES128-GCM-SHA256' </dev/null
6. Java 客户端抛 javax.net.ssl.SSLHandshakeException: PKIX path building failed 必须改 truststore 吗?多数情况不需要。PKIX 校验要求服务端提供完整链路,JDK 的 cacerts 只存放根证书,中间证书必须由服务端下发。因此服务端补全证书链即可,仅当使用私有 CA 时才需要 keytool -importcert 导入。用下面命令可确认是”服务端没发”还是”客户端没信”:
# 服务端视角:能看到几段证书、是否到根
openssl s_client -connect lb.example.com:443 -servername lb.example.com -showcerts </dev/null
# 客户端视角:JDK 里是否已有该根证书
keytool -list -cacerts -storepass changeit | grep -i "your-ca-name"
排查顺序建议固定为:先
openssl s_client -showcerts看链,再比对密钥指纹,最后才怀疑协议与套件。不同 LB 的坑位略有差异——HAProxy 的ca-file需包含中间证书,云厂商 LB 通常要求上传 fullchain 而非单张证书,而 Nginx 与 HAProxy 在 SNI 多证书场景下的匹配规则也不相同(RFC 6066 定义 SNI 扩展,RFC 6125 定义名称校验),这些都会在后续的 TLS 终止与证书轮换章节中展开。
效果验证:怎么确认证书在所有 LB 节点上真正生效
把新证书推到四台负载均衡节点后,最容易出的事不是”全挂”,而是”漏了一台”——HAProxy reload 失败回滚、云 LB 只更新了主可用区、Ansible 某台机器 become 超时,都会留下旧证书继续服务。文件 mtime、systemctl status 和配置 diff 全都看不出这种问题,只有真正握手一次才算数。
怎么逐节点确认握手正常?对每台 LB 的 IP 直连 443,用 -servername 显式带 SNI(RFC 6066 扩展,OpenSSL 默认不带),否则 Nginx/HAProxy 会回落到 default_server 的证书,验证结果就没意义了。
# 逐节点握手:-servername 触发 SNI;</dev/null 避免交互式挂起
for ip in 10.0.0.10 10.0.0.11 10.0.0.12 10.0.0.13; do
echo "== $ip =="
openssl s_client -connect $ip:443 -servername www.example.com
-CAfile /etc/ssl/certs/ca-certificates.crt </dev/null 2>/dev/null
| grep -E 'Verify return code|Protocol|Cipher'
done
# CAfile 路径:Debian/Ubuntu 为 /etc/ssl/certs/ca-certificates.crt
# RHEL/CentOS 为 /etc/pki/tls/certs/ca-bundle.crt;OpenSSL 3.x 省略则用默认信任库
期望每台都输出 Verify return code: 0 (ok)、Protocol: TLSv1.3。若出现 Verify return code: 21 (unable to verify the first certificate),说明该节点只配了 leaf 证书、漏了中间证书链——浏览器能容忍,Java/curl 客户端会直接报错。
怎么最快抓到漏更新的节点?比对指纹,比看文件时间可靠得多:
for ip in 10.0.0.10 10.0.0.11 10.0.0.12 10.0.0.13; do
printf "%s " $ip
openssl s_client -connect $ip:443 -servername www.example.com </dev/null 2>/dev/null
| openssl x509 -noout -fingerprint -sha256
done
# 四行 SHA256 Fingerprint 必须完全一致,任何一行不同即为漏更新节点
OCSP Stapling 生效了吗?Nginx 需 ssl_stapling on 且配置了 ssl_trusted_certificate,HAProxy 需 2.8+ 的 ocsp-update on。验证命令:
openssl s_client -connect www.example.com:443 -servername www.example.com -status </dev/null
| grep -A1 'OCSP Response'
# 生效:OCSP Response Status: successful + Next Update: ...
# 未生效:OCSP Response Status: no response sent
怎么做全站合规扫描?用 testssl.sh 3.2(当前稳定分支,单文件、无依赖):
./testssl.sh --severity HIGH --protocols --headers https://www.example.com
# --severity HIGH 只报 HIGH 及以上问题;--protocols 检查 TLS1.0/1.1 与 TLS_FALLBACK_SCSV
# 默认全量扫描约 60-120 秒;加 --fast 跳过部分 cipher 枚举
重点看三项:TLS 1.0/1.1 是否关闭、是否支持 TLS_FALLBACK_SCSV(防降级,RFC 7507)、Strict-Transport-Security 是否存在。批量跑可调 Qualys SSL Labs 的 analyze API,A 级是常见验收线。
怎么做到期告警而不是靠日历?
openssl x509 -checkend 604800 -noout -in /etc/nginx/ssl/fullchain.pem
# 退出码 0 = 7 天内不过期;1 = 即将过期(604800 秒 = 7 天)
# blackbox_exporter 的 probe_ssl_earliest_cert_expiry 为 Unix 时间戳,Prometheus 告警:
# (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
业务侧还要验什么?curl -sI --http2 https://www.example.com 应返回 HTTP/2 200 且响应头含 strict-transport-security;再用 openssl s_client -noservername 模拟不支持 SNI 的老客户端,确认默认站点不会把未知域名导到错误证书(理想情况是直接拒连或返回兜底证书)。
| 验证手段 | 能发现的问题 | 盲区 |
|---|---|---|
| s_client 逐节点握手 | 节点未 reload、链不完整、协议版本不一致 | 不检查 HTTP 层 |
| SHA256 指纹比对 | 漏更新节点(最快) | 需人工比对输出 |
| OCSP -status | stapling 未配置、OCSP 响应过期 | 部分 CDN 不透传 |
| testssl.sh / SSL Labs | 弱协议、缺 HSTS、降级风险 | 仅测单入口 |
| checkend / blackbox_exporter | 到期时间、链路中断 | 不校验域名匹配 |
据 OpenSSL 文档,
s_client未指定-CAfile时使用系统默认信任库;Let’s Encrypt 与 Mozilla Server Side TLS 指南均建议把 OCSP Stapling 与 HSTS 纳入上线检查项,而不仅是”证书能打开”。
Q:免费的 DV 证书够用吗?4 台负载均衡节点会不会自己把自己限流?
够用。Let’s Encrypt 通过 ACME v2 协议(RFC 8555)签发,单张有效期 90 天,官方建议在剩余 30 天时续期。真正的约束不是钱而是速率限制:据 Let’s Encrypt Rate Limits 文档,每个注册域名每周最多签发 50 张证书,而完全相同的域名集合重复签发限制为每周 5 张。这意味着 4 台 LB 各自跑 certbot 做负载均衡 ssl证书部署,一次轮换就吃掉 4 张配额,任何一次重试都会撞上 too many certificates already issued for this exact set of domains 报错,然后整条链路停摆一周。
正确做法是把续期收敛成“单节点签发 + 分发”流水线:
# 仅在签发节点执行;SAN 集合固定在一个 --cert-name 下
# 版本要求:certbot >= 2.x(ACME v2 默认),webroot 模式需 80 端口可达
certbot certonly --webroot -w /var/www/acme
--cert-name lb-example-com
-d example.com -d www.example.com -d api.example.com
--deploy-hook /usr/local/bin/distribute-cert.sh
--non-interactive --agree-tos -m ops@example.com
# /usr/local/bin/distribute-cert.sh —— 由 deploy-hook 在每次成功签发/续期后调用
#!/usr/bin/env bash
set -euo pipefail
SRC=/etc/letsencrypt/live/lb-example-com
for h in lb1 lb2 lb3 lb4; do
rsync -a --delete "$SRC/" "root@$h:/etc/nginx/ssl/lb-example-com/" # 同步 fullchain.pem 与 privkey.pem
ssh "root@$h" 'nginx -t && systemctl reload nginx' # 先校验再热加载,失败不切断连接
done
注意:--cert-name 固定后,增删域名要用 --expand 原地更新,否则会生成一张新证书,白白消耗 duplicate 配额。4 台节点共用同一份私钥是可接受的——私钥在分发链路上只经过内网,风险面远小于每台各自申请带来的限流风险。
Q:那商业 OV/EV 到底贵在哪?
| 类型 | 覆盖范围 | 2025 年参考价(元/年) | 浏览器地址栏差异 | 典型场景 |
|---|---|---|---|---|
| DV 单域名 | 1 个 FQDN | 0(Let’s Encrypt)~400 | 无 | 公网 Web/API 入口 |
| DV 通配符 | *.example.com(仅一级) | 300~1200 | 无 | 子域多、轮换频繁的 LB 集群 |
| OV 单域名 | 1 个 FQDN + 组织核验 | 800~2500 | 无 | 合同/采购要求展示主体 |
| OV 通配符 | *.example.com | 3000~8000 | 无 | 企业多子域 + 合规审计 |
| EV | 1 个 FQDN + 严格核验 | 3000~10000+ | 无(Chrome 77 起移除标识) | 招投标文件硬性指定 |
价格差异来自组织信息核验流程与赔付条款,加密强度与 DV 完全一致(同为 RSA 2048/ECDSA P-256、SHA-256 签名)。为 EV 支付 3–5 倍溢价在多数 Web 场景收益有限——Chrome 77 起不再显示 EV 标识,Safari 与 Firefox 也已移除,除非合同明文要求。
Q:通配符能不能一次覆盖所有子域?
不能。*.example.com 只匹配一级子域(a.example.com),既不匹配 a.b.example.com,也不匹配裸域 example.com。负载均衡上多域名场景更划算的是“一张 SAN 证书覆盖 5–10 个域名”:SNI 只需配一个 server 块,轮换次数从 N 次降为 1 次,证书数量与运维成本同步下降。通配符签发必须走 DNS-01 挑战,需提前准备 DNS API 凭据。
Q:自签证书能用在公网入口吗?
不能,客户端会直接报 NET::ERR_CERT_AUTHORITY_INVALID。自签只用于 LB 到后端的内网 re-encrypt 链路,用私有 CA 签发:
# 建私有 CA(10 年有效),仅内网分发 ca.crt
openssl req -x509 -newkey rsa:2048 -days 3650 -nodes
-subj "/CN=internal-ca" -keyout ca.key -out ca.crt
# nginx.conf 中启用后端证书校验
proxy_ssl_verify on;
proxy_ssl_trusted_certificate /etc/nginx/ssl/ca.crt;
proxy_ssl_verify_depth 2;
按这套组合,典型年成本是:公网入口用 Let’s Encrypt 通配符 SAN(0 元)+ 内网 re-encrypt 用私有 CA(0 元),仅在合规强制时才为 OV 付费。
取决于 LB 工作层级。七层 LB(Nginx、HAProxy、AWS ALB、阿里云 ALB)在 LB 上终止 TLS,证书只装在 2-4 台 LB 节点,后端走 HTTP 或用内部 CA 再加密;四层 LB(LVS/DR、NLB 的 TCP 监听)不解密,证书必须装在每一台后端。后端节点超过 10 台时,优先选七层终止。
多数是证书链不完整。OpenSSL 1.1.1 之后 curl 会尝试通过证书的 AIA 扩展在线拉取中间证书,而 Chrome、Safari 不做这种回退,Android 与 Java 客户端也不做。用 openssl s_client -showcerts 数一下返回的证书段数,正常应至少 2 段(叶子 + 中间),且不含根证书。
说明 ssl_certificate 与 ssl_certificate_key 不是同一对。用 openssl x509 -noout -modulus -in fullchain.pem | openssl md5 和 openssl rsa -noout -modulus -in example.com.key | openssl md5 比对,两个 MD5 必须相同;ECC 密钥改用 openssl pkey -pubout 比对公钥。最常见原因是续期后只换了证书文件没换私钥。
可以。加密强度与商业 DV 相同(2048 位 RSA 或 P-256 ECC),差别在有效期 90 天、无组织信息核验、无人工客服与赔付条款。内部系统或成本敏感站点用 Let's Encrypt 足够;金融、政企招投标场景通常需要 OV 或 OV 通配符以满足合规审查。
通配符 *.example.com 只覆盖一级子域:a.example.com 可以,a.b.example.com 不行,裸域 example.com 也不行。需要多级覆盖时用 SAN 证书列出具体域名,例如 DNS:example.com,DNS:*.example.com,DNS:*.api.example.com,主流 CA 单证书支持 50-100 个 SAN。
不需要。nginx -s reload 会启动新 worker 加载新证书,旧 worker 处理完存量连接后退出,用户无感知;只有更换监听端口或编译新模块才需要 restart。HAProxy 2.5 及以上支持 seamless reload,2.4 及更早版本 reload 会短暂中断,建议先摘除 keepalived VIP。
LVS/DR 模式下后端看到的源 IP 就是客户端 IP(DR 模式不改写 IP 头),无需额外配置;NAT 模式需在 LB 上开启 TOA 或使用 proxy protocol。七层 LB 则通过 X-Forwarded-For 传递,Nginx 需配 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for 并配合 set_real_ip_from 还原。
本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。