软件漏洞对日常软件系统的影响令人担忧。尽管已经提出了基于深度学习模型的漏洞检测方法，但这些模型的可靠性仍然是一个重大问题。先前的评估报告这些模型具有高达99%的召回率/F1分数，但研究发现，这些模型在实际应用场景下的表现并不佳，特别是在评估整个代码库而不仅仅是修复提交时，性能会显著下降。
1 现有评估方法的局限性
- 合成数据集： 例如 SARD，这些数据集是人工生成的，无法完全反映真实漏洞的复杂性和多样性。
- 基于漏洞的实时数据集： 例如 Big-Vul 和 ReVeal，这些数据集只包含漏洞修复提交中的代码片段，无法反映真实场景中漏洞检测模型对整个代码库的扫描。
- 标签不一致： 一些数据集中存在标签不一致的问题，例如同一个代码片段被标记为漏洞和不确定。
2 Real-Vul数据集
Real-Vul 是一个针对深度学习漏洞检测模型的新型数据集，旨在解决现有数据集的局限性，并更准确地反映现实场景。
2.1 数据集来源
- Real-Vul 数据集基于 Big-Vul 数据集构建，Big-Vul 数据集包含来自 348 个开源项目的真实漏洞 C/C++ 函数。
- 从 Big-Vul 数据集中选择了漏洞数量最多的 10 个项目，这些项目涵盖了 73% 的漏洞样本，具有代表性。
2.2 数据集构建方法
2.2.1 时间序列策略
- Real-Vul 数据集分为训练集和测试集，模拟了模型在历史数据上进行训练，并随着时间的推移识别漏洞的过程。
- 训练集包含漏洞修复提交日期最早的 80% 的漏洞函数，测试集包含剩余 20% 的漏洞函数。
- 这种策略确保了训练集和测试集在时间上的连续性，更符合现实场景。
2.2.2 不确定样本的创建
- 通过克隆每个项目的远程代码库并创建两个快照（一个用于训练集，一个用于测试集），从每个快照中提取所有函数。
- 计算每个函数的哈希值，并与训练集中漏洞函数的哈希值进行比较。
- 如果哈希值不匹配，则将该函数标记为不确定。
2.3 数据集特点
- 真实性和多样性： 包含来自真实软件系统的漏洞代码，具有更高的多样性和复杂性。
- 现实场景： 模拟了漏洞检测模型在实际应用中对整个代码库进行扫描的场景，更符合现实需求。
- 标签一致性： 通过比较哈希值来解决标签不一致的问题，确保了数据的可靠性。
- 规模： 包含 5,528 个漏洞函数和 1,682,713 个不确定函数，规模较大，有利于模型的训练和评估。
2.4 数据集的优势
- 更准确的评估： 可以更准确地评估深度学习漏洞检测模型的性能，发现现有模型的局限性。
- 促进研究： 可以促进漏洞检测领域的研究，推动模型设计和评估方法的改进。
- 应用价值： 可以用于开发漏洞检测工具，帮助开发者识别和修复软件漏洞，提高软件的安全性。
3 实验
3.1 模型选择
- DeepWukong: 使用图神经网络 (GNN) 分析代码依赖关系，从代码中提取 XFG (子图) 进行漏洞检测。
链接： https://github.com/jumormt/DeepWukong
- LineVul: 基于 CodeBERT 的序列模型，将代码块作为输入，并使用 CodeBERT 模型对其进行分类。
链接：https://github.com/awsm-research/LineVul
- ReVeal: 使用图神经网络 (GNN) 检测漏洞，将控制流、数据流、语法树和依赖图整合到代码属性图 (CPG) 中进行综合代码分析。
- IVDetect: 结合表示学习和基于图的解释模型，分析控制流、数据流、抽象语法树和程序依赖图，创建统一的代码结构以高效检测漏洞。
3.2 数据集
- Real-Vul: 本研究提出的新数据集，包含 10 个开源项目的完整代码库，并使用时间策略创建漏洞和不确定样本，确保数据集的真实性和多样性。
- 其他数据集: DeepWukong 使用 SARD 数据集，LineVul 使用 Big-Vul 数据集，ReVeal 使用 ReVeal 数据集，IVDetect 使用 IVDetect 数据集。
3.3 研究问题
3.4 评估指标
- 准确率: 模型预测正确的样本比例。
- 精确率: 模型预测为漏洞的样本中，实际为漏洞的比例。
- 召回率: 模型实际检测到的漏洞样本中，被正确预测的比例。
- F1 分数: 精确率和召回率的调和平均值，综合评估模型性能。
- AUC: 模型区分漏洞和非漏洞样本的能力。
3.5 研究方法
- 初步分析: 在原始数据集上评估模型性能，确保结果可靠性并建立基线。
- 真实场景评估 (RQ1): 在 Real-Vul 测试数据集上评估模型性能，并与原始数据集上的表现进行比较。
- 数据集平衡 (RQ2): 使用 Real-Vul 数据集进行训练和评估，并探讨数据集平衡对模型性能的影响。
- 代码复杂性分析: 分析代码复杂性对模型性能的影响。
- 过拟合评估: 使用 LIME 工具分析模型决策的特征，并探讨过拟合问题。
- 数据增强: 使用死代码增强技术提高数据集多样性，并评估其对模型性能的影响。
- 漏洞类型分析: 分析模型对不同漏洞类型的检测能力。
- 漏洞严重性分析: 分析模型对不同严重性漏洞的检测能力。
- 大型语言模型评估: 使用 CodeLlama 和 Mixtral 等大型语言模型进行漏洞检测，并评估其性能。
3.6 实验结果
3.6.1 现实场景下的模型性能下降
原模型测试结果
基于Real-Vul 数据集测试结果
- 使用 Real-Vul 数据集对 DeepWukong、LineVul、ReVeal 和 IVDetect 模型进行评估，发现这些模型在现实场景下的性能显著下降。
- 精确度和 F1 分数分别下降了高达 95% 和 91%，这意味着模型产生了大量的误报。
- t-SNE 可视化结果显示，模型无法清晰地区分漏洞样本和不确定样本，导致误报率上升。
3.6.2过拟合是导致性能下降的主要原因
- 通过手动分析误报样本，发现模型存在过拟合现象，即模型过度依赖于特定的代码片段进行预测。
- 为了解决这个问题，提出了数据增强技术，通过在训练数据集中添加死代码来增加样本的多样性，从而降低过拟合的风险。
3.6.3 数据增强技术提高了模型性能
- 使用增强后的数据集重新训练模型，并发现模型的性能得到了显著提升，AUC 分数提高了 8% 到 32%。
- 虽然数据增强技术提高了模型的精确度，但召回率有所下降。这说明数据增强技术在提高模型泛化能力的同时，也牺牲了一部分对真实漏洞的识别能力。
3.6.4 模型对不同类型漏洞的检测能力不同
本文分析了模型对不同类型漏洞的检测能力，发现模型在检测信息泄露和代码注入等类型的漏洞时表现较好，而在检测路径遍历和可预测返回值等类型的漏洞时表现较差。
这说明模型对不同类型漏洞的检测能力存在差异，需要针对不同类型的漏洞进行针对性的改进。
3.6.5 模型对高严重性漏洞的检测能力较差
本文分析了模型对不同严重性漏洞的检测能力，发现模型在检测高严重性漏洞时表现较差。这说明模型需要进一步提高对高严重性漏洞的检测能力，以更好地保障软件安全。
3.6.6 大型语言模型在漏洞检测中的应用：
使用 CodeLlama 和 Mixtral 等大型语言模型进行漏洞检测，发现这些模型在 AUC 分数方面优于其他模型，但仍然低于 LineVul 模型。
这说明大型语言模型在漏洞检测方面具有潜力，但需要进一步提高其针对性和效率。
