V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
kkkaaa
V2EX  ›  问与答

有关服务器突然变卡然后被通知对外攻击行的问题

  •  
  •   kkkaaa · 132 天前 · 977 次点击
    这是一个创建于 132 天前的主题,其中的信息可能已经有所发展或是发生改变。
    小公司没有运维,我是后端所以兼顾的服务器的事,现在问题有点超纲了,想咨询一下大佬们。

    早上服务器响应突然变的特表卡,通过监控面板发现流出流量,cup 等开始突然急增。紧接着收到一条腾讯的站内信,内容是:“云服务存在对外攻击行为的违规通知,存在对其他服务器端口( TCP:37215 )的攻击行为”。

    1 通过 top 命令发现有非常多重复的进程:
    20 0 228 64 0 S 1.0 0.0 1:43.45 /var/Sofia 20 0 228 64 0 S 1.0 0.0 1:08.61 /var/Sofia
    。。。

    2 通过 ps 命令后发现有几百个/var/Sofia
    4498 0.6 0.0 228 64 ? S 10:33 0:47 /var/Sofia
    。。。

    3 检查一些启动脚本,文件目录没有发现可疑问题。/var/Sofia 不是一个目录。
    想用查看父进程的方式,但是发现一个套一个查不完。

    4 使用 strace 跟踪进程发现,确实是在不停的调用方法对外请求。但没有其他发现。
    最终没能发现是哪里启动的的/var/Sofia 。

    先使用 pkill -f /var/Sofia ,杀掉了全部的/var/Sofia 。发现他们的父进程一致了
    6354 1016 0 06:19 ? 00:02:46 [/var/Sofia] <defunct>

    再对 1016 进行查询,发现是 nacos 服务
    ps -f -p 1016
    /usr/lib/jvm/java-1.8.0-openjdk/bin/java -Xms1g -Xmx1g -Xmn512m -Dnacos.standalone=true -Dnacos.server.
    =======================================================
    以上结论不知道对不对,现在只能猜测到这一步。
    解决方法也只是杀掉了进程后,释放资源,目前服务器正常。但没有找到根本原因和根本的解决方案。

    希望站里的老哥指点一下。
    2 条回复    2024-07-19 15:19:04 +08:00
    njmaojing
        1
    njmaojing  
       132 天前
    难为楼主了,不过上面光 kill 还不行,需要进一步排查病毒文件源,他有可能还会通过 cron 再启动,以下是我个人排查笔记可参考。


    # 检查登录信息
    last -n 30

    # 检查 ssh 失败记录
    grep -ri "ail" /var/log/secure* | grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}'| sort -n | uniq | awk '{printf"%s ",$1}'

    # 检查 ldconfig
    cat /etc/ld.so.conf
    ls /etc/ld.so.preload

    # 检查命令有没有被劫持,隐藏进程
    which ps bash top netstat sshd lsof find|xargs ldd
    ## 样例输出
    ldd /usr/bin/bash
    linux-vdso.so.1 (0x00007ffcd03e8000)
    /home/lang/Desktop/pidhidden.o (0x00007f87ab4d5000) //恶意插入的动态链接库
    libprocps.so.7 => /usr/lib/libprocps.so.7 (0x00007f87ab27b000)
    libc.so.6 => /usr/lib/libc.so.6 (0x00007f87ab0b7000)
    libdl.so.2 => /usr/lib/libdl.so.2 (0x00007f87ab0b2000)
    libsystemd.so.0 => /usr/lib/libsystemd.so.0 (0x00007f87ab026000)
    /lib64/ld-linux-x86-64.so.2 => /usr/lib64/ld-linux-x86-64.so.2 (0x00007f87ab71d000)
    libpthread.so.0 => /usr/lib/libpthread.so.0 (0x00007f87ab005000)
    librt.so.1 => /usr/lib/librt.so.1 (0x00007f87aaff9000)
    liblzma.so.5 => /usr/lib/liblzma.so.5 (0x00007f87aadd3000)
    liblz4.so.1 => /usr/lib/liblz4.so.1 (0x00007f87aadb4000)
    libgcrypt.so.20 => /usr/lib/libgcrypt.so.20 (0x00007f87aac95000)
    libgpg-error.so.0 => /usr/lib/libgpg-error.so.0 (0x00007f87aaa75000)

    ## 如果有异常可以执行 strace -f ps 查看一下执行过程

    # 检查进程,流量等
    sar -n DEV 3 1 | grep -vE '^$'

    # 检查定时任务
    crontab -l
    cat /etc/crontab
    ls /etc/cron*

    # 检查 xinetd
    ls /etc/xinetd.d/

    # 进程隐藏排查
    google 搜 hook 关键词

    # 检查开机自启动服务

    # 使用 claimav 等工具查杀



    建议 OP 部署终端防护软件,WAF ,做好备份,此外看描述是不是 nacos 的安全漏洞? nacos 漏洞挺多的,记得及时修复。
    8848 端口非必要不要直接挂公网。
    kkkaaa
        2
    kkkaaa  
    OP
       132 天前
    @njmaojing 感谢我继续试试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1083 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 20:02 · PVG 04:02 · LAX 12:02 · JFK 15:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.