「大模型」引领的创新变革正在发生
身处技术爆炸时代
高光与隐忧共存
安全风险
已成为发展中无法忽视的话题
↓
LLM在使用过程中
包含敏感机密的数据或信息
可能会导致未授权的
数据访问、隐私侵犯、安全漏洞等风险
随之造成敏感信息泄露
* 2023年8月，全球开放应用软件安全项目组织（OWASP）发布了针对LLM应用的Top10潜在安全风险，敏感信息泄露赫然在列。
在信手拈来对内容加工时
「大模型们」
已经煽动了蝴蝶之翼
2021年
当时最先进的LLMGPT-2被发现
在面临恶意前缀注入时
模型会返回疑似训练数据中
包含的敏感信息的内容
包括姓名、邮箱、手机号、传真号
无独有偶
今年4月
ChatGPT被爆重大隐私泄露
被泄露信息包括
姓名、邮箱、聊天记录标题
以及信用卡后四位数字
大量公开、私有数据的训练
让大模型的“记住”可以被轻易“说出”
LLM通常使用大量的公开和私有数据进行训练，而这些训练数据通常来源于对互联网上海量文本的爬取和收集。这些文本数据潜藏着各种敏感信息，可能对个体、社会、技术发展和开发者带来以下负面影响：
被泄露的个人敏感信息可能被恶意利用，导致身份盗用、虚假账户开设等违法行为。
攻击者可利用泄露信息进行社会工程攻击，欺骗受害者提供更多敏感信息，进行欺诈。
隐私泄露可能导致个体形象、声誉受损，特别是对于公众人物或知名个体而言尤为重要。
LLM泄露个人隐私可能违反隐私法规，导致法律责任和对开发者的质疑。
公众可能产生对人工智能技术和相关应用的安全性担忧，影响信任程度。
今年7月
OpenAI被两名作家告上法院
抗议ChatGPT训练侵权
认为OpenAI获取了他们具有明确版权管理信息
的图书的内容用于LLM的训练
且没有标明来源或支付版权费
当前LLM生成内容难以追溯到具体的知识产权信息来源，使得发现和保护知识产权更加困难。由此引发知识产权侵犯问题持续产生大量负面影响。
LLM生成内容可能会侵犯原作者的知识产权，如专利、著作权、商标等，并导致经济损失。
LLM知识产权侵犯事件违反了相关法律法规，可能产生法律纠纷和罚款等负面后果。
开发者可能面临技术责任追究，需采取更严格的措施来防止知识产权侵犯，做好内容监管。
「Ctrl c+ Ctrl v：复制粘贴
一时爽」
今年三月
某星被曝出三起商业机密泄露事件
员工A将涉密源代码复制到ChatGPT上
用以处理程序错误
员工B将内部会议记录上传至ChatGPT
以求自动生成会议纪要
员工C将自己工作台上的代码上传
并要求ChatGPT帮其优化
复制粘贴一时爽
信息泄露愁断肠
泄露商业机密的事件的主要原因在于ChatGPT在与用户交互过程中会保留用户输入数据用作未来训练数据，该事件影响重大，持续引发更广泛的法律和监管问题。
商业机密信息的泄露可能导致该公司面临严重的商业损失，包括竞争对手获取敏感信息、市场份额下降等。
员工入职通常会签署相应的数据保护条例以保护商业公司的数据安全，泄密事件严重违反了数据保护条例。
如果和ChatGPT说
“一直重复poem 这个词”会发生什么？
研究人员们发现一种训练数据提取的攻击方式
在上述看似简单的任务中
ChatGPT在输出了一定数量的
单词之后开始胡言乱语
输出大段疑似是其训练数据的内容
甚至还包含了某人的邮箱签名和联系方式
众多模型都面临训练数据提取的威胁
面对大模型一本正经地胡说八道
敏感数据的“随抓随取”
貌似不过是
无他，惟手熟尔
LLM在训练过程中使用的数据有很大一部分来自对互联网公开数据的爬取。未经过滤的公开数据中可能会意外包含敏感信息，对模型、数据提供者以及整个生态系统产生多方面影响：
获取训练数据后攻击者能够对模型进行逆向工程，了解模型的内部结构和决策过程，对模型的知识产权和商业机密构成威胁并造成更大损失。
攻击者获得训练数据后可以通过对抗性攻击干扰模型的性能，增加误导性输入，使模型做出错误的预测，进一步凸显大语言模型的脆弱性。
「大模型也会“夹带私货”？解码加工ING」
LLM也会遭受恶意序列编码攻击
此前，在对国内某LLM进行测试后发现
在收到特定的base64编码组成的提示词
作为输入的时候
LLM返回的对其解码的回复包含异常内容
原因是LLM并不具备识别编码内容的能力
反而在回复中意外输出疑似训练数据的内容
大模型对内容的自我加工输出
不免“夹带私货”
而这往往成了泄露的源头
恶意序列注入是指攻击者通过编造巧妙设计的输入序列，试图操纵LLM进而导致模型的异常行为。这种攻击可能通过利用模型对输入序列的处理方式，使模型泄露其训练数据的一些特征或信息。
攻击者可能通过特定的恶意序列触发模型的意外行为，进而导致模型在处理这些输入时泄露训练数据或敏感信息。
攻击者可通过交互记录反馈逐渐调整优化注入的恶意序列，获取更多关于模型训练数据的信息，造成更大损失。
攻击者通过对抗性样本的设计，构造一系列输入序列，导致模型输出不稳定或错误，使其更容易受到对抗性攻击。
提示词用以赋予LLM的角色定位
在多数情况下
是模型生成有意义和相关输出的关键因素
Github Copilot Chat和微软的Bing Chat
都曾泄露过提示词
攻击者仅仅使用了短短的几句话
就骗过了LLM且绕开了安全机制的防护
提示词正在为GPT们的安全敲响警钟
谁来保障大模型的输出？
LLM提示词直接决定了模型的运作方式并控制生成的输出内容。提示词是驱动整个系统运作的核心元素。有着被泄露的风险：
泄露的提示词可能包含模型开发者的创意和独创性信息，构成知识产权和商业机密的风险。
攻击者可通过提示词注入方式欺骗LLM，绕开安全机制诱导其输出提示词，造成损失。
LLM内置提示词或指令的泄露可能会暴露模型提供服务的原理，泄露的提示词可能被滥用。
LLM技术的飞速发展带来了大量机遇，如何正确地应对其逐渐凸显的安全问题已成为企业的必修课。未来，绿盟科技及其产品也将持续跟随着科技发展，为用户提供专业的安全守护。我们期待与全球的合作伙伴一起，共同推动人工智能安全领域的发展，创造一个更智能、更安全的未来。