LLaMa 深度探求

随着人工智能技术的迅速开展，大模型在处置各种复杂义务中展现出了出色的才干。特意是在网络安保畛域，大模型的运行后劲渺小，它们可以协助智能化处置少量数据、识别潜在要挟和提供安保倡导。

但是，新型大模型层出不穷，要有效应用这些模型，首先必定验证它们无了解和处置网络安保关系疑问上的才干。

4 月 19 日清晨，Meta 开源了新一代 LLaMa-3 模型。作为最受注目标大言语模型之一，LLaMa-3 在网络安保畛域的体现究竟怎样？如何将 LLaMa-3 这样的新型大模型极速运行到网络安保疑问处置中？

腾讯朱雀试验室和腾讯安保科恩试验室基于自研的网络安保大模型评测平台SecBench，对 LLaMa-3 在网络安保畛域的才干体现启动了片面评测。

SecBench：评测网络安保大模型的新基准

SecBench 积攒了行业独有的安保评测数据集，笼罩多题型、多义务，允许从才干、言语、畛域、安保证书模拟考试等多个维度对大模型的网络安保才干启动评价。

同时，SecBench 构建了繁难快捷的评测框架，允许不同数据、不同模型极速接入评测，输入评测结果。

​ ​​ ​nch.org/

LLaMa-3 网络安保才干评测结果剖析

SecBench 对 LLaMa-3 小参数量模型启动了片面评测，同时与上一代 LLaMa-2 启动了对比。综合来看，LLaMa-3 的网络安保才干相较于上一版本有清楚优化。

才干维度

才干维度关键从大模型通用才干的视角，评价大模型对网络安保常识的记忆才干、逻辑推理才干和了解表白才干。在网络安保综合才干上，LLaMa-3 相较于 LLaMa-2 有较大优化（相对优化＞44%）；从各个细分才干维度上看，如对网络安保常识的记忆才干、逻辑推理才干、了解表白才干等，LLaMa-3 也有较清楚的优化。特意是在对网络安保常识的了解表白才干上，Llama-3-8B-Instruct 模型优化最为清楚。

言语维度

言语维度关键评价大模型对不同言语的网络安保常识的学习了解才干，目前笼罩中文和英文两种支谣言语。在言语维度的测试中，LLaMa-3 相较于 LLaMa-2 雷同有较大优化。同时，可以看出，前后两个版本的模型在英文上的才干体现都优于中文。

畛域维度

畛域维度从垂类安保视角，评价大模型对网络安保九个子畛域疑问的处置才干。细分到网络安保各个畛域，Llama-3-8B 和Llama-3-8B-Instruct 综合才干体现相当，在“云安保”和“运行安保”两个子畛域体现最佳。

安保证书考试模拟评价

安保证书考试模拟评价是 SecBench 的特征才干，允许经常使用消息系统审计、云安保认证、云计算安保治理等经典证书考试模拟试题，评测大模型经过安保证书考试的才干。从安保证书模拟评价过去看，LLaMa-3 曾经可以经过浸透测试和消息系统审计两类模拟评价测试，相关于 LLaMa-2 的所有不迭格也有清楚改善。只管 LLaMa-3 依然有局部安保证书模拟考试不迭格，但从分数上看，LLaMa-3 相较于 LLaMa-2 还是有很大水平上的优化。

疑问示例：

Llama-3-8B-Instruct 安保证书模拟评价结果：

Llama-3-8B 安保证书模拟评价结果：

Llama-2-7B-Chat 安保证书模拟评价结果：

Llama-2-7B 安保证书模拟评价结果：

综合来看，LLaMa-3 小参数量模型的网络安保才干相较于上一版本有清楚优化，但对比 Claude-3-Opus、GPT-4 等行业头部大模型还有较大差距。Claude-3-Opus 与 GPT-4 在网络安保上的综合得分区分高达 0.816 和0.7984（更多排名请参考：secbench.org），关于几类安保证书模拟评价也可以高分经过，LLaMa-3 的网络安保才干还有较大优化空间。

本文转载自​​，作者：