服务器漏洞修复实战:清除后门木马、修补程序漏洞与 SSL/TLS 加固全流程
问题背景与根因:服务器为什么变成肉鸡和挖矿机
服务器漏洞修复不是删掉一个木马文件就结束的工作。当一台服务器出现下列任一现象时,通常已经失陷:CPU 长期 100%、对外大量发包、带宽跑满;搜索引擎收录结果里出现博彩或色情标题与跳转;/var/log/secure 里出现成千上万条 SSH 失败登录;网站首页被插入 <script> 跳转代码。这些现象背后往往是四类根因叠加:程序漏洞未打补丁(Discuz、Phpwind 等历史 RCE 与上传绕过)、弱口令与暴力破解、后门木马常驻(crontab、systemd 服务、ld.so.preload)、以及传输层配置过时。
传输层这一项最容易被忽略,也最容易顺手修掉:仍在开放 TLS 1.0/1.1、使用 RC4/SHA-1 或 1024 位 DH 参数、证书过期或只部署了站点证书而没下发中间证书。这里先修正几个常见的过时说法:公网 TLS 证书单张有效期自 2020-09-01 起不得超过 398 天(浏览器与 CA/B 论坛强制),不是早年说的 2 年或 3 年;Let’s Encrypt 免费证书固定 90 天,必须配置自动续期;TLS 1.0/1.1 已由 RFC 8996(2021 年)正式弃用,不应再对外提供服务。
动手前先用三条命令定位问题范围:
# 1) 对外连接 Top,找矿池/扫描外联
ss -antp state established | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head
# 2) CPU 占用 Top5,找挖矿进程
ps aux --sort=-%cpu | head -6
# 3) 近 7 天被改动的 PHP 文件,找 webshell 落点
find /var/www -type f -name '*.php' -mtime -7 -ls | head -50
如果第 1 条出现大量指向 3333/4444/5555/25 端口的连接,第 2 条出现陌生进程(如 kdevtmpfsi、kinsing、随机字符串名),基本可确认已被植入挖矿木马。此时必须按“取证 → 清理 → 打补丁 → 加固 → 验证”的顺序处理,否则清完几小时内就会复活。
第一步:入侵取证与后门木马排查
清理前先留证据:打包 /var/log、站点访问日志和可疑文件样本,记录木马文件 md5,便于事后复盘与报案。取证快照完成后才允许删除。下面的命令块可以直接复制执行,逐段看输出。
# 1) 记录可疑进程的真实可执行文件路径(挖矿木马常伪装在 /tmp 或 /usr/bin)
ps -eo pid,ppid,user,%cpu,etime,cmd --sort=-%cpu | head -15
ls -l /proc/<PID>/exe /proc/<PID>/cwd
# 2) webshell 特征扫描
grep -rIl --include='*.php' -E 'eval(|assert(|base64_decode(|gzinflate(|str_rot13(|create_function(|preg_replace(.*/e' /var/www
# 3) 持久化点:定时任务与自启服务
crontab -l; cat /etc/crontab; ls -l /etc/cron.d /var/spool/cron/
systemctl list-units --type=service --state=running | grep -vE 'sshd|nginx|mysqld|php-fpm|crond'
# 4) rootkit 预加载与文件完整性
cat /etc/ld.so.preload 2>/dev/null
rpm -Va 2>/dev/null | grep -E '^..5' | head # CentOS/RHEL
debsums -c 2>/dev/null | head # Debian/Ubuntu
判读要点:/etc/ld.so.preload 只要不为空就必须高度怀疑 rootkit;rpm -Va 输出中以 5 开头(内容被改动)的系统命令,如 /usr/bin/ps、/usr/bin/top,说明攻击者已替换系统工具来隐藏进程,需要从同版本干净系统拷回。删除木马文件的同时必须清掉它的守护点,否则 kill -9 后 30 秒内会重新拉起。最后检查 cat ~/.ssh/authorized_keys,陌生公钥一律删除;检查 /etc/passwd 中 UID 为 0 的非 root 账户和 /etc/sudoers.d/。
第二步:修复程序漏洞与清除恶意跳转
木马是结果,程序漏洞是入口。Discuz、Phpwind 这类历史程序的高危入口集中在附件上传、模板编译缓存、后台越权三处,处理顺序是“核版本 → 打补丁 → 收权限 → 改凭据”。先确认版本:cat /var/www/html/source/discuz_version.php | grep -i version,再对照官方补丁说明逐条比对文件哈希。
恶意跳转的排查不要只查首页,跳转代码通常藏在被劫持的 JS 文件或模板缓存里:
grep -rIl --include='*.php' --include='*.js' -E 'window.location|document.write|atob(|fromCharCode|eval(unescape' /var/www/html | head -30
# Discuz 缓存与模板编译目录必须整目录清空
rm -rf /var/www/html/data/cache/* /var/www/html/data/template/*
权限收敛(一次性执行,注意目录 755、文件 644,上传目录单独 775):
chown -R www:www /var/www/html
find /var/www/html -type d -exec chmod 755 {} ;
find /var/www/html -type f -exec chmod 644 {} ;
chmod -R 775 /var/www/html/data/attachment
同时收紧 PHP 与数据库:在 php.ini 中设置 disable_functions = exec,passthru,shell_exec,system,proc_open,popen,putenv,pcntl_exec 与 open_basedir = /var/www/html:/tmp;数据库禁止站点使用 root 账号,只授予必要权限:GRANT SELECT,INSERT,UPDATE,DELETE ON discuz.* TO 'web'@'127.0.0.1';,并确认 SELECT user,host,File_priv,Super_priv FROM mysql.user; 中不存在远程 root 与 FILE 权限。清理完成后必须重置所有管理员密码、数据库密码、FTP/SSH 凭据,并更换 UCenter 通信密钥,否则攻击者用旧凭据可以直接回来。
第三步:SSL/TLS 加固,把过期证书和弱协议一起修掉
漏洞修复常被漏掉的一环是传输层。老配置允许 TLS 1.0 降级、启用 CBC/RC4 套件、使用 SHA-1 证书,这些在扫描器里都是中高危项;证书过期更是直接导致业务中断。先用一条命令看清现状:
openssl s_client -connect www.example.com:443 -servername www.example.com -showcerts </dev/null 2>&1 | grep -E 'Protocol|Cipher|Verify return code|s:|i:'
重点看三项:Protocol 是否为 TLSv1.2/1.3;Verify return code 是否为 0(返回 20/21 多为证书过期或链不完整);-showcerts 输出是否包含站点证书 + 中间证书两段。只有一段说明漏发中间证书,Android 与部分 Java 客户端会直接报“证书不受信任”。
协议与套件按以下原则收敛:只保留 TLSv1.2 与 TLSv1.3;套件只保留 ECDHE + AEAD(AES-GCM、ChaCha20-Poly1305);关闭 ssl_session_tickets;开启 OCSP stapling 减少握手延迟;对 80 端口做 301 跳转并加 HSTS。证书侧则要遵守新的有效期规则——公网证书单张最长 398 天,Let’s Encrypt 为 90 天,务必用定时器自动续期而不是人工记日历:
# Let's Encrypt 签发(有效期 90 天)
certbot certonly --webroot -w /var/www/html -d www.example.com -d example.com --agree-tos -m ops@example.com
systemctl list-timers | grep -E 'certbot|acme'
# 或使用 acme.sh
acme.sh --issue -d example.com -w /var/www/html --server letsencrypt
配置示例:Nginx TLS + 上传目录禁执行片段
下面是可直接套用的 443 站点配置,注意证书路径必须用 fullchain.pem(站点证书 + 中间证书),私钥用 privkey.pem。Nginx 1.25.1 及以上版本请把 http2 从 listen 行拆出,改用 http2 on;。
server {
listen 443 ssl;
http2 on; # Nginx < 1.25.1 请改为 listen 443 ssl http2;
server_name www.example.com;
ssl_certificate /etc/letsencrypt/live/www.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/www.example.com/privkey.pem;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384;
ssl_prefer_server_ciphers off;
ssl_session_cache shared:SSL:10m;
ssl_session_timeout 1d;
ssl_session_tickets off;
ssl_stapling on;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/letsencrypt/live/www.example.com/chain.pem;
resolver 223.5.5.5 119.29.29.29 valid=300s;
add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
add_header X-Content-Type-Options nosniff always;
root /var/www/html;
# 上传/附件目录禁止解析任何脚本,堵死上传点
location ~* ^/(data|uploads|attachment)/.*.(php|php5|phtml|jsp|sh)$ { deny all; }
location ~ .php$ {
include fastcgi_params;
fastcgi_pass unix:/run/php-fpm/www.sock;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
}
}
server {
listen 80;
server_name www.example.com example.com;
return 301 https://$host$request_uri;
}
配套的 SSH 侧加固(防暴力破解),改完先 sshd -t 校验语法再 systemctl reload sshd,避免把自己关在门外:
PermitRootLogin no
PasswordAuthentication no
PubkeyAuthentication yes
MaxAuthTries 3
LoginGraceTime 20
加固前后对比与证书方案选型
下表是同类站点修复前后的实测对照,可以直接当作验收清单使用。
| 检查项 | 加固前(典型) | 加固后 | 验证方式 |
|---|---|---|---|
| TLS 协议 | TLS 1.0/1.1/1.2 全开 | 仅 TLS 1.2、1.3 | openssl s_client -tls1_1 应握手失败 |
| 加密套件 | 含 RC4、3DES、CBC | 仅 ECDHE + AEAD | testssl.sh –severity HIGH |
| 证书链 | 只部署站点证书 | fullchain 全链下发 | openssl s_client -showcerts 显示两段 |
| 证书有效期 | 人工续期,经常过期 | 90 天自动续期 + 到期告警 | systemctl list-timers 查 certbot |
| HSTS | 无 | max-age=31536000 | curl -sI 查响应头 |
| 上传目录 | 可解析 PHP | 403 deny | curl -I 请求附件目录下的 .php |
| SSH | root + 密码 + 22 端口 | 密钥登录、禁 root | sshd -T | grep -E ‘permitrootlogin|passwordauth’ |
| 数据库 | root 远程、含 FILE 权限 | 专用最小权限账号、仅 127.0.0.1 | SELECT user,host,File_priv FROM mysql.user |
证书方案按业务选,不要盲目追 EV:
| 证书类型 | 有效期 | 验证方式 | 适用场景 |
|---|---|---|---|
| Let’s Encrypt DV | 90 天,自动续期 | HTTP-01 / DNS-01 | 普通站点、API、测试环境 |
| 商业 DV | ≤ 398 天 | 域名校验 | 需要商业 SLA 与保险的站点 |
| OV 企业型 | ≤ 398 天 | 企业实名核验 | 电商、政企对外门户 |
| 通配符 / 多域名 | ≤ 398 天(LE 通配符仍为 90 天) | DNS-01 | 多子域统一部署 |
选型结论:绝大多数业务用 Let’s Encrypt + 自动续期即可满足;只有需要对外证明企业身份或需要赔付条款时才上 OV。无论选哪种,398 天是公网证书的有效期上限,不能作为续期周期的依据。
常见错误排查(含真实报错)
修复过程中最常见的报错集中在证书与私钥不匹配、证书链不完整、端口跑错协议三类,逐条对照处理:
- nginx: [emerg] SSL_CTX_use_PrivateKey_file(“/etc/nginx/ssl/a.key”) failed (SSL: error:0B080074:x509 certificate routines:X509_check_private_key:key values mismatch):证书与私钥不配对。用
openssl x509 -noout -modulus -in cert.pem | md5sum与openssl rsa -noout -modulus -in key.pem | md5sum对比,两者必须一致(ECDSA 证书改用openssl ec -noout -text比对公钥)。 - curl: (60) SSL certificate problem: unable to get local issuer certificate:没下发中间证书。把
ssl_certificate指向 fullchain.pem,而不是 cert.pem。 - SSL_ERROR_RX_RECORD_TOO_LONG 或 wrong version number:443 端口跑的是明文 HTTP,或反向代理后端把 http 写成了 https。用
curl -v http://127.0.0.1:443验证。 - nginx: [warn] “ssl_stapling” ignored, issuer certificate not found for certificate:同样是缺中间证书,OCSP stapling 无法工作,配置
ssl_trusted_certificate chain.pem后消失。 - AH01909: RSA certificate configured for x does NOT include an ID which matches the server name:server_name 与证书 SAN 不一致,检查是否漏了带 www 的域名。
- error:0A00018A:SSL routines::dh key too small:仍在用 1024 位 DH 参数。改用 ECDHE,或执行
openssl dhparam -out /etc/nginx/dhparam.pem 2048后引用。 - 挖矿进程 kill 后复活:
kdevtmpfsi/kinsing由 crontab 或 systemd unit 守护。顺序是systemctl disable --now 可疑服务→ 清 crontab → 删/tmp下可执行文件 → 再 kill,并给/tmp挂noexec。
效果验证:命令级验收清单
修复完成后不要只看“网站能打开”,按下面清单逐条跑一遍,全部通过才算收工。
# 1) 协议收敛:期望输出 handshake failure
openssl s_client -connect www.example.com:443 -servername www.example.com -tls1_1 </dev/null
# 2) 证书链与到期时间
openssl s_client -connect www.example.com:443 -servername www.example.com </dev/null 2>/dev/null | openssl x509 -noout -dates -subject -issuer
# 3) HSTS 是否下发
curl -sI https://www.example.com | grep -i strict-transport-security
# 4) 全面扫描(期望 A 级、无 HIGH 项)
./testssl.sh --severity HIGH --quiet https://www.example.com
# 5) 上传目录不可执行(期望 403)
curl -o /dev/null -s -w '%{http_code}n' https://www.example.com/data/attachment/test.php
# 6) 木马复查:近一天被改动的脚本中是否还有 webshell 特征
find /var/www -type f -name '*.php' -mtime -1 | xargs -r grep -lE 'eval(|base64_decode(|assert('
# 7) 异常外联复查:矿池与垃圾邮件端口
ss -antp state established '( dport = :25 or dport = :3333 or dport = :4444 )'
验收标准:TLS 1.0/1.1 握手必须失败;证书剩余有效期大于 30 天且 Verify return code 为 0;上传目录返回 403;第 6 条无输出;第 7 条无连接;/etc/ld.so.preload 为空;rpm -Va 中不再有被篡改的系统命令。最后把上述命令写成每日定时任务,输出追加到日志,出现异常即告警——漏洞修复的价值在于持续监控,而不是一次性清理。
常见问题
清理完木马后,搜索引擎结果里仍是带恶意跳转的标题怎么办?
标题来自搜索引擎快照,与服务器状态无关。处理顺序:先在百度搜索资源平台 / Google Search Console 提交死链与“抓取诊断”,对已被篡改的 URL 返回 404 或 301 到正常页面,更新 sitemap 并主动推送;快照通常 3~7 天刷新。若站点被植入大量博彩页面,还要检查 robots.txt 是否被改写、是否生成了大量伪静态目录,必要时提交整站重新抓取。
证书 398 天有效期和 Let’s Encrypt 的 90 天是什么关系?
398 天是 CA/B 论坛与主流浏览器规定的公网 TLS 证书单张有效期上限(2020-09-01 起生效),属于行业硬约束,任何 CA 都不能签发超过该期限的公网证书。90 天是 Let’s Encrypt 自身的签发策略,比上限更短。因此不能用“有效期上限”来规划续期,正确做法是配置 certbot 或 acme.sh 自动续期,并额外加一条到期前 15 天的告警。
只删除 webshell 文件,漏洞就算修好了吗?
不算。webshell 只是结果,攻击者通常同时留下 crontab 任务、systemd 服务、/etc/ld.so.preload、SSH 公钥、数据库中的隐藏管理员账号等多个持久化点。正确流程是:补丁修复入口漏洞 → 清理所有持久化点 → 重置全部凭据(系统、数据库、后台、FTP)→ 加固权限与传输层 → 按验收清单复查。只删文件的情况下,复现时间通常在几小时到几天内。
服务器还在持续向外发包,但 top 看不到高 CPU 进程,为什么?
大概率被装了内核态 rootkit 或替换了系统命令,ps/top 的输出已被过滤。排查方式:cat /etc/ld.so.preload 看是否被写入恶意 so;lsmod 对比干净机器的模块列表;用 tcpdump -i eth0 -nn 'tcp and not port 22' -c 100 抓包看真实外联目标;再用 rpm -Va 校验 /usr/bin 下的命令是否被改动。确认存在 rootkit 时,最稳妥的做法是重装系统并从备份恢复数据,而不是逐个删除文件。
业务不能停机,能否先加固再清理木马?
可以,但顺序要调整:先在边界防火墙或安全组封禁出向的 25/3333/4444 等异常端口,切断矿池与垃圾邮件外联;然后备份站点与数据库快照;接着打程序补丁、改所有凭据;再清理木马与持久化点;最后做 TLS 与权限加固并跑验收清单。加固动作(协议收敛、证书替换、上传目录禁执行)本身不影响业务连续性,可以放在维护窗口内 reload 生效。
自签证书能用在生产环境吗?
公网生产环境不能。自签证书无法被客户端信任链验证,浏览器会直接拦截,用户会看到“您的连接不是私密连接”,同时失去了身份校验能力,等同于给中间人攻击留了口子。自签证书只适合内网服务或作为内部 CA 的中间环节,且内部 CA 的根证书需要下发到所有客户端信任库。公网站点使用 Let’s Encrypt 即可,成本为零且有效期 90 天可自动续期。