第39期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

简介：大型语言模型（LLMs）通过链式思维（COT）提示得到了提升，但同时也面临后门攻击的威胁。研究者提出了BadChain，一种针对LLMs的新型后门攻击，无需访问训练数据集或模型参数，并且计算开销较低。BadChain利用LLMs的推理能力，在模型输出中插入后门推理步骤，导致意外输出。研究者在多个LLMs和任务上展示了BadChain的有效性，尤其是对具有强推理能力的模型更易受攻击。现有的防御方法对BadChain的效果有限，强调了未来防御措施的迫切性。

链接：

https://arxiv.org/pdf/2401.12242.pdf

简介：本文使用大规模数据集探索了ChatGPT在涉及漏洞管理任务的能力，并与SOTA方法进行比较。结果显示，ChatGPT在软件错误报告生成标题方面表现出熟练程度，但仍存在困难和挑战，如如何有效引导ChatGPT关注有用信息而不是无关内容。

链接：

https://arxiv.org/pdf/2311.06530.pdf