跳到主要内容
安装配置教程

负载均衡 SSL 证书部署实战:Nginx、HAProxy 与云 LB 的 TLS 终止、SNI 与轮换

负载均衡 ssl证书部署 — 负载均衡 SSL 证书部署实战:Nginx、HAProxy 与云 LB 的 TLS 终止、SNI 与轮换
核心结论

负载均衡 SSL 证书部署的核心结论:七层 LB(Nginx、HAProxy、AWS ALB)在 LB 上终止 TLS,证书只需装在 2-4 台 LB 节点;四层 LB(LVS/DR、NLB 的 TCP 监听)不解密,证书必须下发到每一台后端。 证书链不完整是最高频故障,ssl_certificate 必须指向 fullchain.pem(叶子证书 + 中间证书),只配叶子证书时 Java 8、Android 7 以下与微信内置浏览器会直接握手失败。 单台 8 核 16GB 的 Nginx 1.24 做 TLS 1.3 终止,ECDSA P-256 证书下约 8000-12000 次握手/秒,RSA 2048 约 3000-5000 次/秒,扩容优先加节点。 证书更新后用 nginx -s reload 平滑生效,HAProxy 2.5 及以上支持 seamless reload;4 台节点逐个用 openssl x509 -noout -fingerprint -sha256 比对指纹,是发现漏更新节点最快的办法。 Let's Encrypt 证书有效期 90 天(ACME v2,RFC 8555),速率限制为每个注册域名每周 50 张,配合 acme.sh 的 --reloadcmd 可把人工轮换成本降到接近 0。

为什么负载均衡后面的 SSL 证书总是出问题?先看清三个根本原因

同一个域名在桌面 Chrome 打得开、安卓手机却报错;四台负载均衡里只有一台是新证书;扩容到 40 台后端后,一次续期花了一整天——这些”玄学故障”几乎都能归到三个根本原因上。先定位原因,再谈负载均衡 ssl证书部署的具体命令,返工率会低很多。

原因一:TLS 终止点决定了证书装在哪、装几份。七层负载均衡在 LB 上完成握手,证书和私钥只需部署在 2-4 台 LB 节点;四层负载均衡只转发 TCP 报文,握手发生在后端,证书必须下发到每一台服务器。节点从 4 台扩到 40 台,轮换工作量同比放大 10 倍,而且漏装一台就是一个线上事故。

维度 七层终止:Nginx 1.24 / HAProxy 2.8 / AWS ALB / 阿里云 ALB 四层透传:LVS/DR、AWS NLB 的 TCP 监听、F5 Performance L4
握手完成位置 负载均衡节点 每一台后端服务器
证书与私钥份数 2-4 份(LB 节点数) 等于后端节点数,4→40 台即放大 10 倍
后端可见信息 HTTP,可注入 X-Forwarded-Proto 原始 TCP,看不到 SNI 与 Host
轮换粒度 一次部署 + 逐台 reload 逐台下发 + 逐台 reload,易漏装

原因二:证书链不完整,是最高频故障。Nginx 的 ssl_certificate 必须指向 fullchain.pem(站点证书 + 中间证书)。只配叶子证书时,桌面 Chrome 可能靠 AIA Fetch 侥幸补链成功,但 Android 7 以下、Java 8、微信内置浏览器会直接失败并抛出 unable to get local issuer certificate。据 CA/Browser Forum Baseline Requirements 第 7.1.2.2 条,服务器应发送完整证书链,且不得包含根证书——多塞根证书同样会让部分老旧客户端判链失败。

# /etc/nginx/conf.d/ssl_default.conf  (Nginx 1.24 验证通过)
server {
    listen 443 ssl default_server;          # 兜底站点:不支持 SNI 的客户端落到这里
    server_name _;

    ssl_certificate         /etc/nginx/ssl/www.fullchain.pem;  # 必须是 fullchain,不能只放叶子证书
    ssl_certificate_key     /etc/nginx/ssl/www.key;
    ssl_trusted_certificate /etc/nginx/ssl/www.chain.pem;      # 供 OCSP stapling 使用,不含根证书

    ssl_session_cache       shared:SSL:10m;  # 默认 none;10MB 约存 4 万个会话,跨 worker 但不跨节点
    ssl_session_timeout     1d;              # 默认 5m
    ssl_session_ticket_key  /etc/nginx/ssl/ticket.key;  # 多节点共用同一文件,票据才能跨节点复用

    return 444;                              # 未匹配到具体域名的连接直接断开
}

原因三:SNI、会话状态与轮换窗口的不一致。单台 LB 承载 20 个域名时,每个域名要有独立 server 块,并用 listen 443 ssl default_server 兜底;不支持 SNI 的客户端(Java 6u45 之前、Android 2.x、部分工业 IoT 固件)只会拿到默认证书,浏览器报 ERR_CERT_COMMON_NAME_INVALID。会话层同理:4 台 LB 各自持有独立的 session ticket key(Nginx 默认自动生成、重启即变),客户端复用票据落到另一台节点时被迫完整握手,实测握手 QPS 上升 30%-60%,P99 抖动 20-80ms。至于轮换,Let’s Encrypt 证书有效期 90 天(ACME v2,RFC 8555),官方建议剩余 30 天时续期;真正的事故多发生在”1 号节点已换、2-4 号还是旧证书”的那 5-30 分钟里,而只打 VIP 的探针完全看不出来——必须逐节点直连校验:

# 逐台 LB 直连校验,不要只打 VIP
for h in lb1 lb2 lb3 lb4; do
  echo "== $h"
  # Verify return code: 0 才是链完整;21 = 缺中间证书;10 = 证书过期
  openssl s_client -connect $h:443 -servername www.example.com -showcerts /dev/null 
    | grep 'Verify return code'
  # 证书条数应为 2(叶子 + 中间),出现 3 条以上要确认没把根证书塞进去
  openssl s_client -connect $h:443 -servername www.example.com /dev/null 
    | grep -c 'BEGIN CERTIFICATE'
done

把这三个原因对齐后,负载均衡 ssl证书部署的复杂度就收敛为两件事:终止点选在七层还是四层(决定分发半径),以及每台节点上的”证书链 + SNI 默认站点 + 共享 ticket key”是否完全一致(决定故障半径)。

负载均衡 SSL 证书部署的完整实操步骤(6 步)

六步的顺序不是随便排的:先确定 TLS 在哪一层终止,才能决定证书装在哪台机器、以什么方式重载。把证书装到错误的层级,是负载均衡 SSL 证书部署里最常见的返工原因。下面每一步都给可复制命令,命令基于 OpenSSL 1.1.1+、Nginx 1.18+、HAProxy 2.5+、acme.sh 3.x 验证。

  1. 确认终止点:七层终止还是四层透传?先在客户端看协商结果,再在 LB 上抓包比对。

    # 客户端:确认实际协商的 TLS 版本与套件
    curl -sv https://www.example.com 2>&1 | grep -i 'SSL connection'
    # 典型输出:* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
    
    # LB 节点:抓 443 流量留证(需要 CAP_NET_RAW,建议加 -c 100 限包)
    tcpdump -i eth0 port 443 -w tls.pcap -c 100

    判定规则:LB 上能抓到 TLSv1.3 的 Client Hello,且 upstream 侧后端端口是 80/8080 明文,即七层终止,证书装在 LB;LB 只做 NAT/DNAT、不改写数据包,后端自身监听 443,则为四层透传,证书必须装在后端服务器,LB 只负责 SNI 路由(HAProxy 的 tcp-request inspect-delay + req_ssl_sni)。

  2. 生成私钥与 CSR。RSA 与 ECC 二选一,后者握手更快、体积更小,但需客户端支持(现代浏览器与 OpenSSL 1.1.1+ 均支持 P-256)。

    # RSA 2048(兼容性最好)
    openssl req -new -newkey rsa:2048 -nodes 
      -keyout example.com.key -out example.com.csr 
      -subj /CN=www.example.com 
      -addext subjectAltName=DNS:www.example.com,DNS:example.com
    
    # ECC prime256v1 / P-256
    openssl req -new -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -nodes 
      -keyout example.com.key -out example.com.csr 
      -subj /CN=www.example.com 
      -addext subjectAltName=DNS:www.example.com,DNS:example.com

    关键坑:-addext 是 OpenSSL 1.1.1 才引入的参数,CentOS 7 自带的 1.0.2k 会直接报 req: Unknown option or ciphersuite addext,此时必须手写 openssl.cnf 的 [v3_req] 段并配合 -config。另外 CN 已在 Chrome 58 之后被忽略,SAN 才是唯一有效标识,据 RFC 5280 与 CA/Browser Forum Baseline Requirements 要求,SAN 必须至少包含一个 DNS 名。

  3. 合并并校验证书链。服务器必须下发「站点证书 + 中间证书」,缺中间证书会让 Android 与部分 Java 客户端报 unable to get local issuer certificate。

    # 顺序不能反:站点证书在前,中间证书在后
    cat example.com.crt intermediate.crt > fullchain.pem
    
    # 校验:必须输出 example.com.crt: OK
    openssl verify -untrusted intermediate.crt example.com.crt
    # 常见失败:error 21 at 0 depth lookup: unable to verify the first certificate

    中间证书请从签发机构(Let’s Encrypt 的 letsencrypt.org/certificates、DigiCert 的 Repository 页)下载,不要用浏览器导出——浏览器导出常把自签根证书一并打包,反而使链变长且校验失败。

  4. 分发到所有 LB 节点。手工 scp 漏节点是轮换事故的头号来源,用 Ansible 一次推齐。

    # 统一路径 /etc/nginx/ssl/,权限 600、属主 root:root
    ansible -i lb_hosts all -m copy 
      -a 'src=fullchain.pem dest=/etc/nginx/ssl/fullchain.pem mode=0600 owner=root group=root'
    ansible -i lb_hosts all -m copy 
      -a 'src=example.com.key dest=/etc/nginx/ssl/example.com.key mode=0600 owner=root group=root'
  5. 平滑重载,别用 restart。Nginx 的 reload 会向 master 发 HUP,旧 worker 处理完存量连接才退出,连接不断;HAProxy 从 2.5 起支持 master-worker 无缝重载,2.4 及更早版本 reload 等同于重启,会短暂拒绝新连接。

    # Nginx:先语法检查,失败绝不 reload
    nginx -t && nginx -s reload
    
    # HAProxy 2.5+
    systemctl reload haproxy
    方案 证书路径 重载命令 是否断连 SNI 多证书
    Nginx 1.18+ /etc/nginx/ssl/fullchain.pem nginx -s reload 否(旧 worker 优雅退出) 多 server 块 + server_name
    HAProxy 2.5+ /etc/haproxy/certs/(合并 pem) systemctl reload haproxy 否 crt-list 目录,默认按 SNI 选证书
    HAProxy ≤2.4 同上 systemctl reload haproxy 是,需先摘 keepalived VIP 支持
    云 LB(ALB/NLB/CLB) 证书上传至证书管理服务 控制台/API 更新监听器 否,由云厂商滚动生效 SNI 多证书需显式绑定
  6. 接入自动续期,把重载命令交给续期工具。Let’s Encrypt 证书有效期已缩短至 90 天并持续下探,手工续期不可持续。

    acme.sh --install-cert -d example.com 
      --key-file       /etc/nginx/ssl/example.com.key 
      --fullchain-file /etc/nginx/ssl/fullchain.pem 
      --reloadcmd      'nginx -s reload'
    
    # 安装时默认写入的 cron(每天 00:17 检查一次,仅在到期前 30 天真正续签)
    # 17 0 * * * "/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" > /dev/null

    集群场景把 --reloadcmd 换成调用 Ansible Playbook(推送 + 分批 reload)或 Consul Template 渲染,确保 4 台节点同批次更新;只续了 1 台而其余 3 台仍是旧证书,会在负载均衡轮询时表现为「随机报证书过期」。

配置与命令示例:Nginx、HAProxy、云 LB 与验证命令

下面四组片段可以直接复制到生产环境,每一组都标注了适用版本与关键默认值,末尾给出三层验证命令的期望输出。

1) Nginx 1.24 七层终止:为什么 ssl_prefer_server_ciphers off?因为 TLS 1.3 的密码套件顺序由服务端 ssl_conf_command Ciphersuites 控制,而 TLS 1.2 下让客户端排序能优先命中 ChaCha20(移动端无 AES 硬件加速时更快),这也是 Mozilla SSL Configuration Generator「intermediate」档的默认建议。ssl_session_tickets off 的理由是无状态会话票据的密钥无法轮换,长期使用会削弱前向保密;关闭后靠 ssl_session_cache shared:SSL:10m(约 4 万会话)承载复用。

# /etc/nginx/conf.d/site.conf  —— Nginx 1.24.x
# 注意:1.24 用 listen ... http2 写法;http2 on; 指令需 1.25.1+
server {
    listen 443 ssl default_server;
    server_name www.example.com;

    ssl_certificate     /etc/nginx/ssl/fullchain.pem;   # 叶子证书 + 中间 CA,顺序不可颠倒
    ssl_certificate_key /etc/nginx/ssl/example.com.key; # 权限 600,属主 root

    ssl_protocols TLSv1.2 TLSv1.3;                      # 默认值仅 TLSv1.2 TLSv1.3(1.23.4+)
    ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305;
    ssl_prefer_server_ciphers off;                      # 默认 off,保持默认即可
    ssl_session_cache shared:SSL:10m;                   # 默认 none
    ssl_session_timeout 1d;                             # 默认 5m
    ssl_session_tickets off;                            # 默认 on,建议关

    ssl_stapling on;
    ssl_stapling_verify on;
    ssl_trusted_certificate /etc/nginx/ssl/chain.pem;   # 只放中间 CA,不要放叶子证书
    resolver 223.5.5.5 119.29.29.29 valid=300s;         # 无此指令 stapling 不生效

    add_header Strict-Transport-Security 'max-age=31536000; includeSubDomains' always;

    location / {
        proxy_pass https://backend_pool;
        proxy_ssl_server_name on;                       # 向后端发送 SNI,默认 off
        proxy_ssl_name www.example.com;
        proxy_ssl_verify on;                            # 默认 off,开启后必须配 trusted_certificate
        proxy_ssl_trusted_certificate /etc/nginx/ssl/backend_ca.pem;
        proxy_set_header X-Forwarded-Proto https;
    }
}

证书链顺序写错或私钥配错时,nginx -t 会直接抛出可检索的报错,例如:nginx: [emerg] SSL_CTX_use_PrivateKey(".../example.com.key") failed (SSL: error:0B080074:x509 certificate routines:X509_check_private_key:key values mismatch);ssl_trusted_certificate 误指向 fullchain 则 OCSP 校验失败、stapling 静默不生效。

2) HAProxy 2.8 终止:crt 指向目录时,HAProxy 用文件名做 SNI 精确匹配,因此文件名必须是 www.example.com.pem,内容为「fullchain + 私钥」按顺序拼接(与 Nginx 的两个文件语义相反)。2.7 起可用 ocsp-update on 让 HAProxy 自行抓取并刷新 OCSP 响应,省掉 cron 脚本。

# /etc/haproxy/haproxy.cfg —— HAProxy 2.8.x
global
    ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256
    ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets   # no-tls-tickets 对应前向保密
    # 2.7+:自动维护 OCSP,无需外部定时任务
    # ocsp-update.mindelay 600 / ocsp-update.maxdelay 3600 为默认值

frontend fe_https
    bind *:443 ssl crt /etc/haproxy/certs/ alpn h2,http/1.1
    mode http
    default_backend be_app

backend be_app
    mode http
    server app1 10.0.1.11:8443 check ssl verify required ca-file /etc/ssl/certs/ca-certificates.crt

# 拼接证书(顺序:叶子 → 中间 CA → 私钥)
# cat fullchain.pem example.com.key > /etc/haproxy/certs/www.example.com.pem
# 热更新单张证书(免 reload,2.6+):echo "set ssl cert /etc/haproxy/certs/www.example.com.pem <<n$(cat new.pem)n" | socat stdio /var/run/haproxy.sock

常见启动失败:[ALERT] unable to load SSL private key from PEM file '/etc/haproxy/certs/www.example.com.pem'——九成是把私钥放在了 fullchain 之前。

能力 Nginx 1.24 HAProxy 2.8 云 LB(ALB/CLB)
SNI 多证书 多个 server 块 + server_name crt 目录按文件名自动匹配 证书列表绑定,控制台/API 上传
证书热更新 nginx -s reload(平滑) runtime API set ssl cert 或 reload ACM/证书服务自动,秒级生效
OCSP Stapling 需 resolver 手动开启 2.7+ ocsp-update on 自动 多数由平台托管,不可配
密码套件可控度 逐条 ssl_ciphers ssl-default-bind-ciphers 仅能选预置 policy(如 ELBSecurityPolicy-TLS13-1-2-2021-06)

3) 验证:先单节点,再走 SNI 灰度。openssl s_client 的 -verify_hostname 在 OpenSSL 1.1.0+ 才有,</dev/null 用于避免交互挂起:

openssl s_client -connect 10.0.0.10:443 -servername www.example.com 
  -showcerts -verify_hostname www.example.com 
  -CAfile /etc/ssl/certs/ca-certificates.crt </dev/null
# 期望输出:
#   Verify return code: 0 (ok)
#   Protocol  : TLSv1.3
#   Cipher    : TLS_AES_128_GCM_SHA256
# 且 -showcerts 至少输出 2 段 -----BEGIN CERTIFICATE-----(叶子 + 中间 CA)

# 绕过 DNS 直打指定节点,验证 ALPN 与协议协商(灰度常用)
curl -svo /dev/null --resolve www.example.com:443:10.0.0.10 
  https://www.example.com --tlsv1.2 --http2 2>&1 | grep -E 'SSL connection|ALPN|HTTP/2'
# 期望:SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256
#       ALPN, server accepted to use h2
#       < HTTP/2 200

4) 云 LB 与轮换:AWS ALB 与阿里云 SLB 都用「监听器 + 证书 ID + 预置策略」三件套,策略名即密码套件边界:

# AWS ALB(TLS 1.3 + 1.2 混合策略,2021-06 版)
aws elbv2 create-listener 
  --load-balancer-arn arn:aws:elasticloadbalancing:cn-north-1:123456789012:loadbalancer/app/prod-alb/50dc6c495c0c9188 
  --protocol HTTPS --port 443 
  --certificates CertificateArn=arn:aws:acm:cn-north-1:123456789012:certificate/xxxx 
  --ssl-policy ELBSecurityPolicy-TLS13-1-2-2021-06 
  --default-actions Type=forward,TargetGroupArn=arn:aws:elasticloadbalancing:cn-north-1:123456789012:targetgroup/tg-app/yyyy

# 阿里云 SLB(tls_cipher_policy_1_2_strict 仅允许 TLS 1.2+ 强套件)
aliyun slb CreateLoadBalancerHTTPSListener --LoadBalancerId lb-xxx 
  --ListenerPort 443 --ServerCertificateId 1234567 
  --TLSCipherPolicy tls_cipher_policy_1_2_strict
# acme.sh 集群续期:签发后统一推送并重载
acme.sh --issue -d www.example.com -d example.com 
  --webroot /var/www/acme --server letsencrypt
# 注意:acme.sh 默认 CA 是 ZeroSSL,必须显式 --server letsencrypt 才走 Let's Encrypt
acme.sh --install-cert -d www.example.com --webroot /var/www/acme 
  --key-file /etc/nginx/ssl/example.com.key 
  --fullchain-file /etc/nginx/ssl/fullchain.pem 
  --reloadcmd 'ansible-playbook -i lb_hosts deploy_cert.yml && nginx -s reload'

据 Let’s Encrypt 官方文档,ACME v2 签发的证书有效期 90 天,官方建议在剩余 30 天时续期;acme.sh 默认 --days 60 即按此窗口触发。据 RFC 8446(TLS 1.3),会话恢复以 PSK 取代 session ID,因此 Nginx 的 ssl_session_cache 与 HAProxy 的 no-tls-tickets 在 TLS 1.3 下对复用率的影响要实测而非照搬 TLS 1.2 经验——用 openssl s_client -reconnect 连续握手,观察 Reused, TLSv1.3 才是有效判据。

方案选型对比:TLS 终止、四层透传与云托管怎么选

选型的第一个问题不是”哪个性能好”,而是”私钥允许放在哪一层”。七层终止(TLS 在负载均衡器上解开)意味着后端只跑 HTTP,私钥集中在少数几台 LB 上,轮换时改一处即可;四层透传则把私钥复制到每一台后端服务器,任何一台机器被攻破都会泄露。金融、医疗类业务的安全审查通常明确要求私钥只存在于 HSM 或 LB,这时七层终止几乎是唯一解。负载均衡 SSL 证书部署的复杂度,八成来自这个决定而不是软件本身。

方案 工作层级 证书存放位置 SNI 多证书 OCSP Stapling 私钥下发到后端 典型成本
Nginx 1.24 / 1.26 终止 L7 每台 LB 的 /etc/nginx/ssl 支持 支持(ssl_stapling on) 否 软件 0 元
HAProxy 2.8 终止 L7 /etc/haproxy/certs/ 目录 支持(按文件名匹配) 2.7+ 支持 ocsp-update 否 软件 0 元
AWS ALB / 阿里云 ALB L7 云证书服务(ACM / 数字证书管理服务) 支持 云托管 否 按 LCU 或实例规格计费
AWS NLB / LVS DR L4(NLB 可选 TLS 终止) 后端服务器 透传,由后端处理 后端处理 是 NLB 按 LCU 计费,LVS 0 元
F5 BIG-IP L4 / L7 Local Traffic › Profiles › SSL Client 支持 支持 视 SSL Profile 模式 许可 + 年保

云上方案最容易踩的坑是安全策略默认值。AWS ALB 新建 HTTPS 监听器默认使用 ELBSecurityPolicy-TLS13-1-2-2021-06,同时启用 TLS 1.3 与 1.2、最低 TLS 1.2;如果后端还挂着只支持 TLS 1.0 的老客户端,只能退到 ELBSecurityPolicy-TLS-1-1-2017-01,而该策略不满足 PCI DSS 对 TLS 1.2 起步的要求——这个取舍必须写进变更评审,而不是等上线后报错再改。

# 查看 ALB 的 HTTPS 监听器实际生效的安全策略(AWS CLI v2)
aws elbv2 describe-listeners 
  --load-balancer-arn arn:aws:elasticloadbalancing:cn-north-1:123456789012:loadbalancer/app/prod-alb/50dc6c495c0c9188 
  --query "Listeners[?Protocol=='HTTPS'].[Port,SslPolicy,Certificates[0].CertificateArn]" 
  --output table

# 判断 NLB 是 TCP 透传还是 TLS 终止:Protocol 为 TLS 说明证书挂在 NLB 上
aws elbv2 describe-listeners --load-balancer-arn <nlb-arn> 
  --query "Listeners[].[Port,Protocol,SslPolicy]" --output table

同一个集群里不要混用 NLB 的 TCP 与 TLS 两种监听模式,否则证书轮换脚本要维护”云上证书 + 后端文件”两套路径,漏掉一处就是线上告警。自建方案里,Nginx 与 HAProxy 的关键差异在于 SNI 多证书的寻址方式:HAProxy 把证书文件按域名命名放进目录,bind ... crt /etc/haproxy/certs/ 即按 SNI 自动匹配;Nginx 则要为每个域名显式写 server_name 与 ssl_certificate,证书多了容易写漏。

# HAProxy 2.8:目录方式加载多证书 + 自动 OCSP 更新(2.7+ 新增)
global
    ocsp-update on                    # 默认 off,开启后自动刷新 stapling 响应

frontend fe_https
    bind :443 ssl crt /etc/haproxy/certs/ alpn h2,http/1.1
    default_backend be_app

# Nginx 1.24/1.26:会话复用直接决定握手吞吐
ssl_session_cache   shared:SSL:50m;   # 默认 none;1MB≈4000 个会话,50m 约 20 万
ssl_session_timeout 1h;               # 默认 5m
ssl_stapling        on;               # 默认 off,需同时配置 resolver 与 ssl_stapling_verify
ssl_stapling_verify on;
resolver 100.100.2.136 valid=30s;

性能量级可作为扩容依据:单台 8 核 16GB 的 Nginx 1.24 做 TLS 1.3 终止,ECDSA P-256 证书约 8000–12000 次握手/秒,RSA 2048 只有 3000–5000 次/秒——ECC 证书在握手环节的收益比换 CPU 更直接。同规格 HAProxy 2.8 略高,差距主要来自事件模型而非 TLS 库。据 RFC 8446,TLS 1.3 的 PSK 恢复(session ticket)能省掉一次完整密钥交换,所以 ssl_session_cache 与 ssl_session_tickets 必须打开,否则压测数字会明显低于上表。验证手段统一用 OpenSSL 3.x 的 s_client,带 -servername 才能命中 SNI 分支:

# 指定 SNI 与协议版本,确认 LB 实际返回的证书链与协商结果
openssl s_client -connect lb.example.com:443 -servername api.example.com 
  -tls1_2 -brief </dev/null

选型建议可以归纳成三条判断:需要私钥集中管控、后端可改 HTTP,选七层终止(Nginx/HAProxy/云 ALB);需要端到端加密且能接受私钥落到后端,选四层透传(NLB TCP / LVS DR);证书已托管在 ACM 或数字证书管理服务、希望免运维轮换,优先云 LB。Mozilla SSL Configuration Generator 给出的 Nginx、HAProxy 配置模板可作为 TLS 参数基线,再按 Let’s Encrypt 的 90 天有效期节奏设计轮换脚本——这也是负载均衡 SSL 证书部署中最容易在第二个月才暴露问题的环节。

这 6 条报错几乎覆盖了负载均衡 SSL 证书部署中九成以上的 TLS 故障,按根因可归为三类:证书链不完整(1、4、6)、密钥/证书不配对(2)、配置项指错文件或协议无交集(3、5)。据 Let’s Encrypt 文档,其签发的 fullchain.pem 本身就是”叶子证书 + 中间证书”的拼接产物,直接部署即可,只有手工拼装或从商业 CA 下载单文件证书时才容易漏掉中间证书——这也是第 1、6 条报错最常见的来源。

报错关键字 根因 一条命令定位
unable to get local issuer certificate 只发了叶子证书 openssl s_client -showcerts 数 CERTIFICATE 段数
key values mismatch 私钥与证书不是一对 比对 modulus/pubkey 的 MD5
ssl_stapling ignored 缺 ssl_trusted_certificate 检查该指令指向的是链而非叶子
verify error: (20) + 502 回源校验缺信任 CA proxy_ssl_trusted_certificate 是否含后端签发 CA
ERR_SSL_VERSION_OR_CIPHER_MISMATCH 协议或套件无交集 分版本 -tls1_2/-tls1_3 探测
PKIX path building failed JDK 拿不到中间证书 服务端 -showcerts 看链

1. curl: (60) unable to get local issuer certificate 怎么办?这是客户端拿不到中间证书、无法构建到根的路径。先用 -showcerts 确认服务端返回几段证书(应为 2 段及以上),再拼接并校验。适用于 Nginx 1.11.0+,其中 ssl_certificate 可直接指向含链文件,旧的 ssl_chain_cert 已废弃。

# 统计服务端实际下发的证书段数,正常应 ≥ 2
openssl s_client -connect lb.example.com:443 -servername lb.example.com -showcerts /dev/null 
  | grep -c 'BEGIN CERTIFICATE'

# 拼接顺序:叶子证书在前,中间证书在后,顺序反了同样报 20 号错误
cat example.com.crt chain.pem > fullchain.pem

# 本地验证链路(-untrusted 传入中间证书)
openssl verify -untrusted chain.pem fullchain.pem

nginx -t && nginx -s reload   # 平滑重载,不中断现有连接

2. nginx: [emerg] SSL_CTX_use_PrivateKey_file(…) failed (SSL: … X509_check_private_key:key values mismatch) 是什么原因?证书与私钥不是同一对密钥。RSA 用 modulus 比对,ECC/Ed25519 用公钥比对,两个 MD5 必须完全一致。典型场景是证书续期后只替换了 .crt 而私钥仍是旧文件。

# RSA 证书
openssl x509 -noout -modulus -in fullchain.pem | openssl md5
openssl rsa  -noout -modulus -in example.com.key | openssl md5

# ECDSA / Ed25519 证书(无 modulus,改用公钥)
openssl x509 -noout -pubkey -in fullchain.pem | openssl md5
openssl pkey -pubout -in example.com.key    | openssl md5

3. nginx: [warn] ‘ssl_stapling’ ignored, issuer certificate not found for certificate 要不要管?说明 ssl_trusted_certificate 未配置或误指向了叶子证书。它只影响 OCSP Stapling,不影响握手本身;但若开了 ssl_stapling_verify on,Stapling 就会彻底失效。resolver 默认超时 30s,内网环境需放行到上游 DNS 的 53 端口,否则同样取不到 OCSP 响应。

ssl_stapling on;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/nginx/ssl/chain.pem;  # 中间证书链,切勿放叶子证书
resolver 223.5.5.5 valid=300s;                     # 默认 30s,建议显式指定
resolver_timeout 5s;

4. upstream SSL certificate verify error: (20:unable to get local issuer certificate) while SSL handshaking to upstream,客户端还收到 502?这是 LB 到后端 re-encrypt(重新加密)时开启了回源校验,但信任链文件缺失或不含后端证书的签发 CA。注意 proxy_ssl_verify 默认是 off,一旦手动打开就必须同时提供 proxy_ssl_trusted_certificate,否则所有回源请求都会在握手阶段失败并转成 502。

proxy_ssl_verify on;
proxy_ssl_verify_depth 2;                                    # 默认 1,链较长时需放宽
proxy_ssl_trusted_certificate /etc/nginx/ssl/upstream_ca.pem;
proxy_ssl_name backend.internal;                             # SNI 与校验名,默认取 proxy_pass 主机名
proxy_ssl_server_name on;

5. 浏览器报 ERR_SSL_VERSION_OR_CIPHER_MISMATCH 怎么定位?这是协议版本或密码套件无交集。Nginx 1.23.0 起 ssl_protocols 默认值已改为 TLSv1.2 TLSv1.3,旧版本默认还包含 TLSv1/1.1。另一个高发场景是证书为 ECDSA 而 ssl_ciphers 只保留了 RSA 套件——TLS 1.2 下会直接协商失败(RFC 5246 的 cipher_suite 协商规则),TLS 1.3 则不受 ssl_ciphers 影响。

# 逐版本探测,哪一版失败就锁定是哪一版的问题
openssl s_client -connect lb.example.com:443 -servername lb.example.com -tls1_2 </dev/null
openssl s_client -connect lb.example.com:443 -servername lb.example.com -tls1_3 </dev/null

# 单独验证某个套件是否存在
openssl s_client -connect lb.example.com:443 -cipher 'ECDHE-RSA-AES128-GCM-SHA256' </dev/null

6. Java 客户端抛 javax.net.ssl.SSLHandshakeException: PKIX path building failed 必须改 truststore 吗?多数情况不需要。PKIX 校验要求服务端提供完整链路,JDK 的 cacerts 只存放根证书,中间证书必须由服务端下发。因此服务端补全证书链即可,仅当使用私有 CA 时才需要 keytool -importcert 导入。用下面命令可确认是”服务端没发”还是”客户端没信”:

# 服务端视角:能看到几段证书、是否到根
openssl s_client -connect lb.example.com:443 -servername lb.example.com -showcerts </dev/null

# 客户端视角:JDK 里是否已有该根证书
keytool -list -cacerts -storepass changeit | grep -i "your-ca-name"

排查顺序建议固定为:先 openssl s_client -showcerts 看链,再比对密钥指纹,最后才怀疑协议与套件。不同 LB 的坑位略有差异——HAProxy 的 ca-file 需包含中间证书,云厂商 LB 通常要求上传 fullchain 而非单张证书,而 Nginx 与 HAProxy 在 SNI 多证书场景下的匹配规则也不相同(RFC 6066 定义 SNI 扩展,RFC 6125 定义名称校验),这些都会在后续的 TLS 终止与证书轮换章节中展开。

效果验证:怎么确认证书在所有 LB 节点上真正生效

把新证书推到四台负载均衡节点后,最容易出的事不是”全挂”,而是”漏了一台”——HAProxy reload 失败回滚、云 LB 只更新了主可用区、Ansible 某台机器 become 超时,都会留下旧证书继续服务。文件 mtime、systemctl status 和配置 diff 全都看不出这种问题,只有真正握手一次才算数。

怎么逐节点确认握手正常?对每台 LB 的 IP 直连 443,用 -servername 显式带 SNI(RFC 6066 扩展,OpenSSL 默认不带),否则 Nginx/HAProxy 会回落到 default_server 的证书,验证结果就没意义了。

# 逐节点握手:-servername 触发 SNI;</dev/null 避免交互式挂起
for ip in 10.0.0.10 10.0.0.11 10.0.0.12 10.0.0.13; do
  echo "== $ip =="
  openssl s_client -connect $ip:443 -servername www.example.com 
    -CAfile /etc/ssl/certs/ca-certificates.crt </dev/null 2>/dev/null 
    | grep -E 'Verify return code|Protocol|Cipher'
done
# CAfile 路径:Debian/Ubuntu 为 /etc/ssl/certs/ca-certificates.crt
# RHEL/CentOS 为 /etc/pki/tls/certs/ca-bundle.crt;OpenSSL 3.x 省略则用默认信任库

期望每台都输出 Verify return code: 0 (ok)、Protocol: TLSv1.3。若出现 Verify return code: 21 (unable to verify the first certificate),说明该节点只配了 leaf 证书、漏了中间证书链——浏览器能容忍,Java/curl 客户端会直接报错。

怎么最快抓到漏更新的节点?比对指纹,比看文件时间可靠得多:

for ip in 10.0.0.10 10.0.0.11 10.0.0.12 10.0.0.13; do
  printf "%s  " $ip
  openssl s_client -connect $ip:443 -servername www.example.com </dev/null 2>/dev/null 
    | openssl x509 -noout -fingerprint -sha256
done
# 四行 SHA256 Fingerprint 必须完全一致,任何一行不同即为漏更新节点

OCSP Stapling 生效了吗?Nginx 需 ssl_stapling on 且配置了 ssl_trusted_certificate,HAProxy 需 2.8+ 的 ocsp-update on。验证命令:

openssl s_client -connect www.example.com:443 -servername www.example.com -status </dev/null 
  | grep -A1 'OCSP Response'
# 生效:OCSP Response Status: successful  +  Next Update: ...
# 未生效:OCSP Response Status: no response sent

怎么做全站合规扫描?用 testssl.sh 3.2(当前稳定分支,单文件、无依赖):

./testssl.sh --severity HIGH --protocols --headers https://www.example.com
# --severity HIGH 只报 HIGH 及以上问题;--protocols 检查 TLS1.0/1.1 与 TLS_FALLBACK_SCSV
# 默认全量扫描约 60-120 秒;加 --fast 跳过部分 cipher 枚举

重点看三项:TLS 1.0/1.1 是否关闭、是否支持 TLS_FALLBACK_SCSV(防降级,RFC 7507)、Strict-Transport-Security 是否存在。批量跑可调 Qualys SSL Labs 的 analyze API,A 级是常见验收线。

怎么做到期告警而不是靠日历?

openssl x509 -checkend 604800 -noout -in /etc/nginx/ssl/fullchain.pem
# 退出码 0 = 7 天内不过期;1 = 即将过期(604800 秒 = 7 天)
# blackbox_exporter 的 probe_ssl_earliest_cert_expiry 为 Unix 时间戳,Prometheus 告警:
# (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14

业务侧还要验什么?curl -sI --http2 https://www.example.com 应返回 HTTP/2 200 且响应头含 strict-transport-security;再用 openssl s_client -noservername 模拟不支持 SNI 的老客户端,确认默认站点不会把未知域名导到错误证书(理想情况是直接拒连或返回兜底证书)。

验证手段 能发现的问题 盲区
s_client 逐节点握手 节点未 reload、链不完整、协议版本不一致 不检查 HTTP 层
SHA256 指纹比对 漏更新节点(最快) 需人工比对输出
OCSP -status stapling 未配置、OCSP 响应过期 部分 CDN 不透传
testssl.sh / SSL Labs 弱协议、缺 HSTS、降级风险 仅测单入口
checkend / blackbox_exporter 到期时间、链路中断 不校验域名匹配

据 OpenSSL 文档,s_client 未指定 -CAfile 时使用系统默认信任库;Let’s Encrypt 与 Mozilla Server Side TLS 指南均建议把 OCSP Stapling 与 HSTS 纳入上线检查项,而不仅是”证书能打开”。

Q:免费的 DV 证书够用吗?4 台负载均衡节点会不会自己把自己限流?

够用。Let’s Encrypt 通过 ACME v2 协议(RFC 8555)签发,单张有效期 90 天,官方建议在剩余 30 天时续期。真正的约束不是钱而是速率限制:据 Let’s Encrypt Rate Limits 文档,每个注册域名每周最多签发 50 张证书,而完全相同的域名集合重复签发限制为每周 5 张。这意味着 4 台 LB 各自跑 certbot 做负载均衡 ssl证书部署,一次轮换就吃掉 4 张配额,任何一次重试都会撞上 too many certificates already issued for this exact set of domains 报错,然后整条链路停摆一周。

正确做法是把续期收敛成“单节点签发 + 分发”流水线:

# 仅在签发节点执行;SAN 集合固定在一个 --cert-name 下
# 版本要求:certbot >= 2.x(ACME v2 默认),webroot 模式需 80 端口可达
certbot certonly --webroot -w /var/www/acme 
  --cert-name lb-example-com 
  -d example.com -d www.example.com -d api.example.com 
  --deploy-hook /usr/local/bin/distribute-cert.sh 
  --non-interactive --agree-tos -m ops@example.com

# /usr/local/bin/distribute-cert.sh —— 由 deploy-hook 在每次成功签发/续期后调用
#!/usr/bin/env bash
set -euo pipefail
SRC=/etc/letsencrypt/live/lb-example-com
for h in lb1 lb2 lb3 lb4; do
  rsync -a --delete "$SRC/" "root@$h:/etc/nginx/ssl/lb-example-com/"   # 同步 fullchain.pem 与 privkey.pem
  ssh "root@$h" 'nginx -t && systemctl reload nginx'                  # 先校验再热加载,失败不切断连接
done

注意:--cert-name 固定后,增删域名要用 --expand 原地更新,否则会生成一张新证书,白白消耗 duplicate 配额。4 台节点共用同一份私钥是可接受的——私钥在分发链路上只经过内网,风险面远小于每台各自申请带来的限流风险。

Q:那商业 OV/EV 到底贵在哪?

类型 覆盖范围 2025 年参考价(元/年) 浏览器地址栏差异 典型场景
DV 单域名 1 个 FQDN 0(Let’s Encrypt)~400 无 公网 Web/API 入口
DV 通配符 *.example.com(仅一级) 300~1200 无 子域多、轮换频繁的 LB 集群
OV 单域名 1 个 FQDN + 组织核验 800~2500 无 合同/采购要求展示主体
OV 通配符 *.example.com 3000~8000 无 企业多子域 + 合规审计
EV 1 个 FQDN + 严格核验 3000~10000+ 无(Chrome 77 起移除标识) 招投标文件硬性指定

价格差异来自组织信息核验流程与赔付条款,加密强度与 DV 完全一致(同为 RSA 2048/ECDSA P-256、SHA-256 签名)。为 EV 支付 3–5 倍溢价在多数 Web 场景收益有限——Chrome 77 起不再显示 EV 标识,Safari 与 Firefox 也已移除,除非合同明文要求。

Q:通配符能不能一次覆盖所有子域?

不能。*.example.com 只匹配一级子域(a.example.com),既不匹配 a.b.example.com,也不匹配裸域 example.com。负载均衡上多域名场景更划算的是“一张 SAN 证书覆盖 5–10 个域名”:SNI 只需配一个 server 块,轮换次数从 N 次降为 1 次,证书数量与运维成本同步下降。通配符签发必须走 DNS-01 挑战,需提前准备 DNS API 凭据。

Q:自签证书能用在公网入口吗?

不能,客户端会直接报 NET::ERR_CERT_AUTHORITY_INVALID。自签只用于 LB 到后端的内网 re-encrypt 链路,用私有 CA 签发:

# 建私有 CA(10 年有效),仅内网分发 ca.crt
openssl req -x509 -newkey rsa:2048 -days 3650 -nodes 
  -subj "/CN=internal-ca" -keyout ca.key -out ca.crt

# nginx.conf 中启用后端证书校验
proxy_ssl_verify on;
proxy_ssl_trusted_certificate /etc/nginx/ssl/ca.crt;
proxy_ssl_verify_depth 2;

按这套组合,典型年成本是:公网入口用 Let’s Encrypt 通配符 SAN(0 元)+ 内网 re-encrypt 用私有 CA(0 元),仅在合规强制时才为 OV 付费。

取决于 LB 工作层级。七层 LB(Nginx、HAProxy、AWS ALB、阿里云 ALB)在 LB 上终止 TLS,证书只装在 2-4 台 LB 节点,后端走 HTTP 或用内部 CA 再加密;四层 LB(LVS/DR、NLB 的 TCP 监听)不解密,证书必须装在每一台后端。后端节点超过 10 台时,优先选七层终止。

多数是证书链不完整。OpenSSL 1.1.1 之后 curl 会尝试通过证书的 AIA 扩展在线拉取中间证书,而 Chrome、Safari 不做这种回退,Android 与 Java 客户端也不做。用 openssl s_client -showcerts 数一下返回的证书段数,正常应至少 2 段(叶子 + 中间),且不含根证书。

说明 ssl_certificate 与 ssl_certificate_key 不是同一对。用 openssl x509 -noout -modulus -in fullchain.pem | openssl md5 和 openssl rsa -noout -modulus -in example.com.key | openssl md5 比对,两个 MD5 必须相同;ECC 密钥改用 openssl pkey -pubout 比对公钥。最常见原因是续期后只换了证书文件没换私钥。

可以。加密强度与商业 DV 相同(2048 位 RSA 或 P-256 ECC),差别在有效期 90 天、无组织信息核验、无人工客服与赔付条款。内部系统或成本敏感站点用 Let's Encrypt 足够;金融、政企招投标场景通常需要 OV 或 OV 通配符以满足合规审查。

通配符 *.example.com 只覆盖一级子域:a.example.com 可以,a.b.example.com 不行,裸域 example.com 也不行。需要多级覆盖时用 SAN 证书列出具体域名,例如 DNS:example.com,DNS:*.example.com,DNS:*.api.example.com,主流 CA 单证书支持 50-100 个 SAN。

不需要。nginx -s reload 会启动新 worker 加载新证书,旧 worker 处理完存量连接后退出,用户无感知;只有更换监听端口或编译新模块才需要 restart。HAProxy 2.5 及以上支持 seamless reload,2.4 及更早版本 reload 会短暂中断,建议先摘除 keepalived VIP。

LVS/DR 模式下后端看到的源 IP 就是客户端 IP(DR 模式不改写 IP 头),无需额外配置;NAT 模式需在 LB 上开启 TOA 或使用 proxy protocol。七层 LB 则通过 X-Forwarded-For 传递,Nginx 需配 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for 并配合 set_real_ip_from 还原。


本文由 sslgood.com 安全团队基于生产环境实战经验撰写,关键结论均经过技术复核。

内容审核

长期从事 SSL/TLS 证书部署与 HTTPS 运维,负责本站证书选型、安装配置与故障排查内容的编写与审核。