GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。
GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
1. 解释型恶意软件中的战术、技术和程序 (TTPs)：基于大语言模型的零样本生成
简介：本文提出了将MITRE ATT&CK的战术、技术和程序（TTPs）引入解释型恶意软件分析，以表征攻击生命周期的不同阶段。研究者开发了GENTTP，一种零样本生成方法，通过大语言模型（LLMs）从恶意软件包中自动提取TTPs，输出欺骗性战术和攻击向量的执行战术。实验验证了GENTTP的高效性和准确性。基于3,700多个PyPI恶意软件的TTPs，研究者构建了一个基于LLM的聊天机器人，并对大规模恶意软件TTPs进行了定量分析。主要发现包括：许多OSS恶意包共享相对稳定的TTP，TTP反映了攻击特征，且攻击者的意图与TTP相关。
链接：
https://arxiv.org/abs/2407.08532
2. eyeballvul：一个面向未来的野外漏洞检测基准
简介：最近的大语言模型（LLM）长上下文能力开启了一种新用例：要求模型在整个代码库中查找安全漏洞。为了评估模型在此任务中的表现，研究者引入了eyeballvul：一个旨在大规模测试语言模型漏洞检测能力的基准，该基准每周从开源代码库中发布的漏洞流中获取并更新。基准包含不同代码库中的修订列表，每个修订都关联了已知漏洞列表。研究者使用基于LLM的评分器将模型返回的可能漏洞列表与每个修订的已知漏洞列表进行比较。截至2024年7月，eyeballvul包含超过24,000个漏洞，跨越6,000多个修订和5,000多个代码库，总大小约为55GB。
链接：
https://arxiv.org/abs/2407.08708
3. 使用大语言模型（LLM）反汇编混淆可执行文件
简介：反汇编混淆可执行文件是一项挑战，特别是当这些文件包含垃圾字节，旨在引发反汇编错误时。现有解决方案依赖启发式方法或机器学习技术，但效果有限。大语言模型（LLMs）的出现使得深入理解二进制可执行文件的语义成为可能。本文介绍了DisasLLM，一种新型的基于LLM的反汇编器，专为分析混淆可执行文件设计。DisasLLM包含两个主要组件：一个基于LLM的分类器，用于判断汇编代码片段中的指令是否正确解码，以及一种利用该模型的端到端反汇编策略。研究者在一组高度混淆的可执行文件上对DisasLLM进行了评估，结果显示其显著优于其他最先进的反汇编解决方案。
链接：
https://arxiv.org/abs/2407.08924
简介：LLM应用商店的快速增长引发了安全问题。在本研究中，研究者提出了一个三层框架来识别LLM应用的潜在安全风险，包括具有滥用潜力、恶意意图和可利用漏洞的应用。研究者在五个月内从六大应用商店（GPT Store、FlowGPT、Poe、Coze、Cici和一个HTTP URL）收集了786,036个LLM应用。通过静态和动态分析，开发了包含31,783个条目的有害词典（ToxicDict），并使用自动监控工具识别和缓解威胁。研究发现，15,146个应用存在误导性描述，1,366个应用违规收集敏感信息，15,996个应用生成仇恨言论、自残和极端主义等有害内容。此外，有616个应用可用于生成恶意软件和网络钓鱼。研究结果强调了制定强有力监管框架和增强执行机制的紧迫性。
链接：
https://arxiv.org/abs/2407.08422
5. TDML — 一个值得信赖的分布式机器学习框架
简介：近年来，深度学习研究迅速发展，推出了如OpenAI的SORA和GPT、Meta AI的LLAMA系列以及Google的FLAN、BART和Gemini等大型模型。然而，这些模型的发展加剧了对计算资源，特别是GPU的需求，而供应链延误和大公司垄断进一步加剧了这一问题。分布式机器学习（DML）方法如联邦学习（FL）通过将数据和模型分布到多个服务器上来缓解这些挑战，但实现复杂的优化仍然困难。区块链技术作为有前景的解决方案，可以确保数据完整性、可扩展性和可信度，但缺乏实际指导。本文提出了一个值得信赖的分布式机器学习（TDML）框架，利用区块链协调远程训练者并验证工作负载，实现隐私、透明和高效的模型训练。实验结果显示，TDML在性能提升和恶意节点检测方面表现优异，是可扩展、安全的分布式机器学习解决方案。
链接：
https://arxiv.org/abs/2407.07339
简介：大语言模型（LLMs）在软件开发中越来越受欢迎，通过提示驱动编程使开发者能够从自然语言（NL）指令中生成代码。然而，研究质疑其生成安全代码的能力，影响了提示生成的软件质量。各种提示技术已经出现，以优化LLMs的响应，但这些策略与安全代码生成之间的关系仍未得到充分探索。本研究旨在探讨不同提示技术对LLMs生成代码安全性的影响。研究者首先进行系统文献综述，确定现有的提示技术，然后在GPT-3、GPT-3.5和GPT-4模型上评估部分技术的安全代码生成效果。使用包含150个与安全相关的代码生成提示的数据集，结果显示，特别是“递归批评和改进”（RCI）技术能显著减少安全弱点，为LLM生成代码的安全性提供了宝贵见解。
链接：
https://arxiv.org/abs/2407.07064
7. PEER：通过多智能体框架和调整方法实现领域特定任务的专家化
简介：在特定领域应用中，尽管GPT-4通过精确提示或检索增强生成（RAG）展现出潜力，但面临性能、成本和数据隐私的三难困境。高性能需要复杂处理技术，而管理多个智能体的复杂流程往往昂贵且具挑战性。研究者引入了PEER（计划、执行、表达、评审）多智能体框架，通过精确问题分解、信息检索、综合总结和自我评估来系统化领域特定任务。企业为平衡成本、安全和性能，正在从GPT-4转向自定义模型。研究者开发了利用在线数据和用户反馈的高效模型调整方法。本研究为领域特定问题解决中的多智能体系统应用及有效调整策略提供了指南。实证研究表明，特别是在金融问答领域，研究者的方法在管理成本和确保数据隐私的同时，达到了GPT-4性能的95.0%。
链接：
https://arxiv.org/abs/2407.06985
