1.1 了解当前 GPT 准确性与 AI 编造内容的危害

通过前两章的内容,相信你已经比大多数人都更了解 GPT 了。所以从本章开始,我们会正式开始接触 Prompt 这个领域。GPT 的原理决定了它的特性,所以我们会先从了解 GPT 的原理开始,并在后续章节中讲解如何利用它的这些特性解决 GPT 胡说八道的问题。

如果你已经在网上看过不少「Prompt 推荐」相关的文章,能够发现这些文章基本就是给一些模板 Prompt,很少有涉及一些通用的优化方法和技巧。背后的原因倒也不复杂,一方面是 Prompt 优化这个领域确实比较新,另一方面则是直接给 Prompt 更加符合现在的快节奏的阅读习惯。比如 GPT 中文调教指南arrow-up-right就是一个很常见的例子。

如果我们只停留在使用模版 Prompt 的程度,其实很难学好如何正确地「向 AI 提问」,也就很难在新的 AI 服务上线时快速上手这些服务。更何况,每个人的工作重点都有不同,模板 Prompt 大多数时候都不能满足我们的需求,使用模版 Prompt 自然也就很难生成匹配我们需求的内容。

所以在本章开始,我虽然会给你提供一些模版 Prompt,但文章的侧重点依然是 GPT 的原理和其他底层概念、GPT 的方法和技巧。只要学到了这些 GPT 的规则,你就可以生成无数的、属于自己的模版 Prompt。

值得注意的是,无论是人工智能大型语言模型的多样化输出这样的特性,还是 AI 服务提供商的频繁地模型更新,都有可能让相同的 Prompt 输出不同的内容,极端情况下还有可能出现答非所问的情况。本系列中大部分 Prompt 及使用方法均是从原理上得出的,且在写作时已经在 GPT3.5/4 和 New Bing 中进行生成结果的测试,所以理论上长期有效。但如果某个 Prompt 在多次使用后仍然和文章描述的结果不同,那么你不仅可以试着修改 Prompt 还可以在相关文章的评论区进行反馈。

GPT 目前的问题所在

GPT 在理工科计算方面的准确性已经是差到人尽皆知的程度了,很多简单的加减法直接问 GPT 都不能得到正确的结果。虽然 GPT4 中这个问题解决了大半,还可以借助 Wormform alpha 插件完全规避这个问题,但 GPT 本身的计算能力差是一件毋庸置疑的事情。

上面两个答案都是错的,正确答案是 10532319083.8arrow-up-right

除了理工科,文科也是重灾区。通过 GPT 直接生成内容,很多时候都会遇到 GPT 一本正经地给你「解释」不存在的东西,并且在你深入提问的时候还能利用自己巨大的训练集将回答编造地十分可信。

不要以为生成不存在的参考论文链接和人物生平就是它的极限,当你问某个不存在的论文链接讲什么时候,它还能够为你编出有板有眼的论文综述和这篇论文的相关评论,只要你一直问下去,GPT 就能一直给你编下去,这一现象也被称为 AI 幻觉。

GPT 伪造不存在的参考文献

当然 GPT 的生成内容不够准确,其实和开发人员没太大关系。我们在第一章的原理部分中有提到,GPT 是通过当前的内容递归地去获取下一个相关程度最高的 token,而一旦涉及排序,无论相关度多低,那总会有第一名,这就让 GPT 永远有下一个 token 可以接。

这样的工作原理,会让 GPT 说出「不知道」三个字的难度简直堪比人类说「对不起」。虽然科学家和开发者们已经开始解决这个问题,但这样涉及到模型底层机制的问题,解决起来难度非常大。这个问题并不是简单给 token 相关性设置阈值就能解决的,而目前相对通用的方案还是通过微调以及增加训练数据的方式来让 AI 认识到自己的错误。

AI 编造内容的危害

在我看来,AI 编造内容的最大危害还是它破坏了很多人类判断信息准确性的方式。无论是普通大众还是高等教育人群,确定自己获得的信息准确性的方式其实不外乎如下几种:

  • 检查信息来源:信息来源通常通过信誉来背书;

  • 确认作者的背景:作者研究领域与信息相关程度越高,内容通常更为可靠;

  • 参考多个信息来源;

  • 识别内容中不合理的部分:利用自身的知识和经历,判断出内容中是否有不合理的部分;

在 GPT 出现后,上述的这些验证方法会在特定情况下失效。比如,GPT 生成的内容很容易给出格式统一的假参考,参考资料的标题和作者也是模仿可信度高的真实资料,在不仔细甄别的前提下,普通人就很容易会相信这些假的参考内容。

又比如,GPT 很擅长扮演,通过扮演的方式它可以打造出一个背景真实、个人生平丰富、以及奖项充实的虚假人物。当你通过搜索引擎去搜索虚假人物时,虽然大概率会搜不到,但你反而会怀疑是不是搜索引擎的问题。

至于避免内容中出现不合理的地方,那更是 GPT 最擅长的工作了,GPT 的知识储备和逻辑能力非常优秀,甚至某些领域已经会通过内容太过完美这一点,来判断这段内容是否由 AI 生成。

还比如,当 GPT 的用户越来越多,由 GPT 编造出的、相同的虚假内容也会在互联网上反复出现,这样参考多个信息源这个方法也会变得不可靠。

在文章的最后,我希望通过向大家科普 GPT 胡说八道的能力和危害,来让大家意识到使用 GPT 的过程中应该小心核对 GPT 生成的内容。我们还可以通过使用多个模型、或多个信息源生成内容来进一步核实 GPT 生成的内容。而在下一章开始,我就给大家介绍一些能够抑制 GPT 胡说八道「欲望」的方法和技巧。

最后更新于