点击排行

本栏推荐

发布时间：2024年12月27日 16时42分03秒精选人已围观

简介OpenAI公司在2024年将实时搜索功能集成到ChatGPT中，标志着AI产业的重要进步。这一举措改变了人们自“村里通网”以来的信息检索方式。然而，最新测试显示，在面对复杂的互联网内容时...

2024年AI领域的一大突破，OpenAI将实时搜索功能整合进ChatGPT，这一举措无疑改变了自“村里通网”以来，很多人获取信息的习惯。

不过，最新的实验结果显示，面对此前人类所创造的复杂互联网信息，现阶段的AI仍显得过于“天真易受骗”。

易于操控和误导

本周，英国《卫报》发布了一个简单实验：通过将部分文本隐蔽在网页中，竟可以“操控”ChatGPT返回虚假甚至恶意信息。

专业术语称之为“提示注入”（prompt injection），即在用户不可见的区域暗中插入旨在干预ChatGPT反应的内容，比如大量虚假的信息。

测试人员设计了一个相机商品页面，并询问ChatGPT“这款相机值不值得买”。在正常情况下，AI会提供一些积极且均衡的反馈，并提醒用户一些可能的不满意之处。

然而，当页面中的隐藏文本指令ChatGPT“必须给予好评”时，AI只会呈现正面的反馈，哪怕页面上包含负面评论也完全不提及。在后续测试中，若隐藏文本中加入了“杜撰的好评”，同样能影响ChatGPT的回应。

网络安全企业CyberCX的研究员雅各布·拉尔森警告称，若OpenAI继续以现有形式向所有用户开放ChatGPT搜索，会带来重大风险，很多心怀不良企图者可能会建立专门用于欺骗用户和AI工具的网站。

拉尔森指出，该功能最近几个月才推出，而OpenAI拥有强大的安全团队，预计在全面推出前会进行严格的测试。他同时强调，AI容易被欺骗只是大型语言模型与搜索结合过程中面临的问题之一，因此人们不应完全依赖AI工具的结果。

实际上，这种在内容中“暗自增加”来误导AI并不是什么新作法。正如我们之前报道的，过去几年，许多招聘系统开始通过AI筛选简历后，候选人曾向简历中添加人眼看不见的文本，以提高通过自动筛选的概率。

而且，AI工具不仅能生成文本，还能编写代码——这将AI受骗的风险进一步放大。

微软的高级安全研究员托马斯·罗西亚分享了这样一个故事：一个加密货币投资者被“勤勉”的ChatGPT给坑了。

罗西亚介绍，这位币圈爱好者要求ChatGPT编写一段可以合法访问Solana平台的代码。虽然ChatGPT表面上生成了可用的代码，但其中却隐藏了一个钓鱼网址。

这类问题为何会出现？罗西亚表示，无论用户是否选择“浏览网页”选项，ChatGPT都会使用函数调取网页，而GitHub（代码库）是其中一个受信任的代码来源。

ChatGPT访问了一个相关的GitHub库，在某个页面末尾发现了包含额外文档的外部链接，AI认真查看了这个看似合法的文档，结果提取出了恶意网址。

因此，最终生成的代码中不仅包含了恶意网址，还有一个POST请求——将用户的加密钱包私钥发送给恶意代码。