第14期 | GPTSecurity周报

行业热点
23年11月9日
喜欢
浏览

云起FuzzCon技术达人

释放双眼，带上耳机，听听看~！

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

🔹ChatGPT Al in Security Testing: Opportunities and Challenges

简介：本报告中将深入探讨在安全测试中使用ChatGPTAI的机遇和挑战。我们将探讨如何使用ChatGPTAI来自动化各种安全测试任务，例如漏洞扫描和渗透测试。此外，我们将研究ChatGPTAI在提高安全测试准确性和效率方面的潜力。然而，重要的是要考虑在安全测试中使用AI带来的挑战，例如数据隐私和道德问题。

链接：

https://www.cyfirma.com/outofband/chatgpt-ai-in-security-testing-opportunities-and-challenges/

🔹Chatbots to ChatGPT in a Cybersecurity Space:Evolution, Vulnerabilities, Attacks, Challenges, andFuture Recommendations

简介：随着普及程度的提高，聊天机器人遇到了网络安全威胁和漏洞。本文讨论了相关文献、报告，以及针对聊天机器人产生的解释性事件攻击。

链接：

https://arxiv.org/pdf/2306.09255.pdf

🔹BadPrompt: Backdoor Attacks on ContinuousPrompts

简介：本文主要研究小样本场景下通过连续prompt对大模型后门攻击。

链接：

https://arxiv.org/pdf/2211.14719.pdf

🔹ChatGPT羊驼家族全沦陷！CMU博士击破LLM护栏，人类毁灭计划脱口而出

简介：CMU和人工智能安全中心的研究人员发现，只要通过附加一系列特定的无意义token，就能生成一个神秘的prompt后缀。由此，任何人都可以轻松破解LLM的安全措施，生成无限量的有害内容。

链接：

https://mp.weixin.qq.com/s/298nwP98UdRNybV2Fuo6Wg

Security Tools

🔹Universal and Transferable Adversarial Attacks on Aligned Language Models

简介：在本文中，我们提出了一种简单有效的攻击方法，该方法可使对齐的语言模型生成令人反感的行为。具体来说，我们的方法找到了一个后缀，当附加到LLM的广泛查询以产生令人反感的内容时，该后缀旨在最大化模型产生肯定响应（而不是拒绝回答）的概率。

论文链接：

https://arxiv.org/abs/2307.15043

代码链接：

https://github.com/llm-attacks/llm-attacks

🔹利用 Codex 的 API 来构建与网络安全相关的自动化工具

简介：虽然 OpenAI Codex 本身并非专门针对网络安全设计的工具，但它基于 GPT-3.5-turbo 模型，可用于编写、审查和分析代码，包括网络安全相关的代码。我们可以利用 Codex 的 API 来构建与网络安全相关的自动化工具，例如自动生成漏洞扫描脚本或辅助渗透测试。

链接：

https://openai.com/blog/openai-codex

🔹Ret2GPT

简介：主要面向CTF类二进制安全设计的工具：Ret2GPT，通过使用 ChatGPT API + Retdec + Langchain，用户可以通过问答+构造好的Prompt 或者直接使用以及构造好的Prompt 对特定二进制文件进行漏洞挖掘起到一个很好的漏洞挖掘助手的功能。

链接：

https://github.com/DDizzzy79/Ret2GPT

第14期 | GPTSecurity周报

Security Papers

Security Tools

第13期 | GPTSecurity周报

第15期 | GPTSecurity周报

突发！！疑似12306 60w账户+410w联系人数据泄露

走进蒙面黑客的世界(专访杨卿)

【漏洞预警】Oracle WebLogic wls-wsat RCE CVE-2017-10271 & CVE-2017-3506

紫光云招聘安全研发、安全服务岗位

默安科技9月华北招聘专场

360政企安全集团华东安服事业部招聘