加州大学圣地亚哥分校 | GPT正在成为一个图灵机： 这里有一些为它编程的方法

​

本文证明了GPT-3可以通过仔细的提示设计来触发执行迭代算法，包括具有可变终止条件的双循环，该设计强调了所需算法的执行路径的例子中的结构，或这种路径的片段的集合。按照能够执行的各种算法表明，GPT系列已经接近于图灵完备，也就是说，不仅能够回忆或组成（幻觉）代码，而且能够实际模拟其执行。

GPT is becoming a Turing machine: Here are some ways to program it

Ana Jojic, Zhen Wang, Nebojsa Jojic

[Fred Hutchinson Cancer Research Center & University of California San Diego & Mohamed bin Zayed University of Artificial Intelligence]

1. 本文证明，通过适当的提示，GPT-3系列模型可以被触发执行必要的迭代行为，以执行（而不仅仅是编写或回忆）涉及循环的程序，包括在计算机科学课程或软件开发人员访谈中发现的几种流行算法。
2. 本文通过三种方式中的一种（或一种组合）来触发执行和描述迭代的Regimenting Self-Attention（IRSA）： 1）在一个特定输入的目标程序执行路径的例子中使用强大的重复性结构，2）用执行路径的片段提示，以及3）明确禁止（跳过）对生成文本的部分自我注意。在动态程序执行中，IRSA比用更强大的GPT-4取代模型带来了更大的准确性提高。
3. IRSA在教育领域有很好的应用前景，因为其提示和回答类似于数据结构和算法课中的学生作业。我们的研究结果对评估LLMs有意义，因为LLMs通常是针对语境中的学习： 我们表明，甚至可能不包括一个完整的任务例子的提示可以触发算法行为，允许解决以前被认为对LLM来说很难的问题，如逻辑谜题。因此，提示的设计在LLM的表现中起着比以前更重要的作用。

https://arxiv.org/pdf/2303.14310.pdf

​Read More