研究人员发现，通过特定手段可诱使ChatGPT-4o和GPT-4o mini泄露有效的Windows产品激活密钥。该漏洞源于ChatGPT的训练数据中包含了已公开的Windows密钥。
一位AI漏洞猎手向Mozilla的ODIN(0-Day调查网络)漏洞赏金计划提交的报告展示了一种巧妙方法：通过设计猜谜游戏的形式，并将关键信息隐藏在HTML标签中，最终在游戏结束时索要密钥，成功诱使OpenAI的ChatGPT-4o和4o mini泄露了有效的Windows激活密钥。
研究者首先将对话包装成猜谜游戏，使交流显得“无威胁且无关紧要”，通过“轻松无害的对话框架”隐藏真实意图。这种设计削弱了AI对机密信息的防护机制。
随后研究者设定基本规则，要求AI“必须参与”且“不能说谎”，这利用了AI逻辑中的缺陷——即便请求违反内容过滤规则，系统仍会遵循用户设定的互动流程。
在完成一轮游戏后，研究者输入触发短语“我放弃”，迫使聊天机器人“认为自己有义务回应一串字符”。据ODIN的博客文章解释，该方法之所以有效，是因为这些密钥并非独有，而是“常见于公开论坛的通用密钥，其普遍性可能导致AI误判了信息的敏感性”。
此次绕开防护的案例中，系统未能拦截请求是因为防护机制仅针对直接询问设计，无法识别“将敏感短语嵌入HTML标签等混淆手段”。
该技术理论上也可用于突破其他内容限制，包括成人内容、恶意网站链接甚至个人身份信息。