一种基于安全大模型的EDR告警研判机器人
Author: Guannan Wang, Guancheng Li of Tencent Security Xuanwu Lab
0x00 背景
企业为防御网络攻击,常常投资于先进的安全产品,如EDR、NDR、WAF等,这些产品往往依靠特定的规则生成告警,提示企业可能存在的网络威胁。但这些告警规则因为缺乏网络安全领域的先验知识,为企业的安全防御带来了双重挑战:
只依赖具体的规则进行检测会产生大量误报,导致企业难以分辨哪些是检测到真正网络威胁的告警;
用户对告警的理解和反应受限于他们在安全领域的知识水平,这对用户的能力提出了较高的要求。因此,告警的解读和响应通常需要有丰富安全知识和经验的安全专家与企业的运营团队进行紧密合作才能完成。
然而,不仅安全专家招聘成本高,依赖于人工分析的方法也存在效率低下等问题,难以应对告警数量激增的情况。此外,因为告警数据的敏感性,部分企业也担心上传云端等出网的分析方法带来的隐私泄露风险。因此,企业面临着在保障网络安全和把控成本效率之间寻找平衡的难题。
为有效应对安全告警分析的挑战,我们引入了一款基于安全大模型的告警研判机器人,能够对EDR设备上报的告警进行智能分析。这款机器人融合了丰富的安全领域先验知识,能够对告警进行深入研判,自动执行调查和取证工作。我们的方案支持私有化部署,具备出色的专业分析能力并能保证极高的吞吐量,能够助力企业提升告警分析效率,同时降低相关成本。
玄武实验室拥有专业的“攻防+AI”团队,多次助力腾讯在国家攻防演练中荣获前三名。实验室在ChatGPT发布之前就已经开始研究AI在安全领域的应用,并在ChatGPT推出后,进一步加深了对大模型相关技术的研究。
0x01 功能介绍
在探索大模型技术的过程中,我们构建了集数据、训练和评估为一体的大模型研究平台。基于此平台,我们对告警研判机器人的技术方案进行了30余轮的技术迭代,实现了一系列创新性的突破。这些成果涵盖了多个关键技术领域,包括创新的训练数据生成算法,数据分布优化策略,Prompt工程,微调和强化学习算法,以及模型能力评价体系,这些创新极大地推动了我们的技术方案的成熟。基于这些突破性成果,我们最终完成了告警研判机器人的技术方案,并申请了相关发明专利。
EDR告警研判机器人对告警的分析功能包括:多维度告警分析、误报可能性量化、自动调查取证、结论推理。
多维度告警分析
使用固定规则进行威胁检测的方法往往会导致大量误报告警的产生。例如,腾讯电脑管家作为一种安全软件,将自己添加到启动项中是一种常见行为,这是因为安全软件通常需要在计算机启动时立即运行,以便提供实时的防护;然而,恶意软件也常常会采取同样的行为,以实现持久的攻击,这就导致检测规则可能会将电脑管家误认为恶意软件而产生误报。
为了解决这一问题,研判机器人结合告警中的资产信息、事件信息、进程树和告警规则等多种细节,利用大模型的安全知识和推理能力进行多维度分析。研判机器人会考虑各种信息,如可执行文件的路径、签名来源、使用的命令行参数,以及进程树的调用关系等,并以自然语言的形式向用户解释这些信息的常见与异常之处。这样,用户就能更清楚地了解哪些信息是正常的,哪些可能表明存在潜在威胁。
误报可能性量化
完成对告警的多维度分析后,研判机器人将告警的误报可能性量化为四种结果:很大、中等偏大、中等偏小以及很小。这种量化的结果给用户提供了一种直观的感受,用户可根据分析结果对告警进行优先级排序,从而尽早处理更危险的告警,提升告警处置的效率。
自动调查取证
对误报可能性进行量化之后,研判机器人会给出“对立情况”的发生条件——如果告警误报的可能性大,则给出是真实攻击的条件;反之,如果误报可能性小,则给出是告警的确是误报的条件。这些信息为运营人员进行下一步调查取证指明了方向。如果研判机器人被授予了相关权限,研判机器人会自动和EDR、运营人员等角色进行必要的交互,获得相关信息,开展自动化的调查取证。
结论推理
研判机器人完成自动调查取证后,根据获得的取证结果进行自动推理,给出告警是否是误报的结论。用户可以使用此结论为告警打上相应标签,从而在海量告警中找出真正威胁企业安全的告警。
0x02 方案优势
我们的方案具备3大优势:私有化部署、专业性强、吞吐量高。
私有化部署
告警信息中往往包含资产的IP地址等敏感信息,部分企业担心上传云端分析存在隐私泄露的安全隐患。我们的模型支持私有化部署,能够保护企业敏感信息不被泄漏,确保数据不外泄,解决企业在此方面的担忧。
专业性强
分析机器人能够覆盖20余条EDR的告警规则。经过评估,告警研判机器人与玄武安全专家分析结果的一致性高达95.3%。分析机器人具备的多种专业能力,能够为企业的安全专家和运营人员提供强大助力,降低告警分析的技术门槛,从而节省组织的安全运营成本。
吞吐量高
研判机器人使用的模型参数量小,推理速度快,成本更低。单张消费级显卡部署即可实现至少“8W条告警/天”的吞吐量。低成本,高吞吐量意味着企业将可以在成本可控的情况下,无需担心被海量告警淹没,让真正的威胁无处遁形。
0x03 示例展示
EDR上报的告警信息如下:
研判机器人的研判过程如下:
在告警研判的例子中,EDR发现主机上的一个软件“API Fox”尝试修改启动项,因符合恶意软件的行为特征所以上报了告警。研判机器人首先根据先验知识从可执行文件路径、进程签名、进程参数等角度分析告警信息中是否存在可疑情况,并判断此告警误报可能性很大——理由是修改注册表、添加启动项是API Fox的常见行为。随后,研判机器人提供了一些方便运维人员调查取证的建议,并开展了自动调查取证。研判机器人通过和EDR和运维人员配合,获取了相关信息后,最终给出研判结论:告警为误报。
0x04 未来方向
目前,我们已经开源了SecEval。SecEval是专门为评估基础模型中的网络安全知识而创建的基准测试,提供了超过2000个多项选择题,覆盖9个领域:软件安全、应用程序安全、系统安全、网络安全、密码学、内存安全、网络安全和渗透测试。
展望未来,我们计划对大模型进行更加深入的研究,从数据、算法和评估等多个角度针对知识注入、指令微调等技术方向进行前沿探索。我们会将这些先进研究成果不断地分享给大模型研究社区,从而推动整个领域的持续创新和发展。我们也会持续关注网络安全领域的痛点需求,如渗透测试、漏洞挖掘等,并持续研发新的技术方案。
如果您对安全大模型、安全告警分析等领域有需求,诚邀您与我们联系,以便探讨深入的合作机会。联系方式:xlabai@tencent.com。