恶意创意提示工程：人工智能安全威胁与应用探讨

《WithSecure-Creatively-malicious-prompt-engineering.pdf》是一篇由Andrew Patell 和 Jason Sattler撰写于2023年1月，由Secure Intelligence发行的研究论文。文章探讨了创造性恶意提示工程（Creatively Malicious Prompt Engineering）在当今人工智能（AI）领域的潜在影响，重点关注如何利用这些技术进行欺诈、骚扰、社会验证操控以及生成假新闻。 1. **介绍**： 文章开头引用了开放AI公司关于新型内容 moderation tooling（内容审核工具）的案例，以及一篇来自arXiv的研究论文，展示了AI生成的内容可能带来的道德和安全挑战。此外，作者还提到了Simon Willison的一篇文章，讨论了提示注入（prompt injection）的概念，这在聊天机器人和自然语言处理中是一个关键话题，提示如何被设计以引导模型的行为。 2. **恶意应用**： 研究关注的重点在于恶意提示的应用，如 phishing（网络钓鱼）和 spear phishing（定向钓鱼），即利用AI生成的个性化诱饵来欺骗用户，尤其是针对个人或企业的高级攻击形式。这些技术旨在模拟人类交互，增加欺骗的可信度。 3. **社会操纵**： 文章提到通过风格转移和意见转移的技术，恶意提示可以用来改变信息的呈现方式，制造假象或操纵公众观点，这可能对舆论和公众认知产生负面影响。 4. **提示创作与控制**： 作者详细阐述了如何创建和设计恶意提示，包括利用AI模型的能力来生成看似真实的内容，以此达到特定目的。这包括利用生成式文本模型来伪造新闻或谣言，挑战事实核查和真实性判断。 5. **结论与反思**： 结尾部分，作者总结了当前恶意提示工程的潜在风险和监管挑战，强调了确保AI的安全和道德使用的重要性。他们提出，尽管AI有其潜在益处，但若不能正确管理，就可能导致不可预知的危险。 6. **后续评价与致谢**： 文章最后包含了一些外部链接，如Notion AI 提示资源库和一个社区维护的聊天GPT提示集合，以及对相关研究者和项目团队的感谢。 整体而言，《WithSecure-Creatively-malicious-prompt-engineering.pdf》提供了一个深入洞察，警示了创意恶意提示工程可能带来的潜在危害，并提倡对其进行有效的管理和规范，以防止滥用。