GPT-4在脑筋急转弯测试中表现出众，超越GPT-3和ChatGPT

本文主要探讨了GPT-3、ChatGPT和GPT-4在解答脑筋急转弯问题上的表现差异，通过一项名为"Cognitive Reflection Test (CRT)"的心理学测试，作者分析了这些大型语言模型在直观行为和推理偏误方面的能力。研究表明，尽管模型的规模通常与性能成正比，但在解决需要跳出直觉思维的问题时，即便是拥有千亿参数的模型也可能失败。然而，ChatGPT在这类问题上的表现优于GPT-3，而GPT-4则表现出色，一骑绝尘。 在论文《Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models—and Disappeared in GPT-4》中，作者利用CRT数据集，这个数据集常用于评估人类的直觉思考倾向。实验包括三个典型的CRT问题以及一个语言逻辑陷阱问题。例如： 1. CRT-1：苹果和梨共花费1.1元，苹果比梨贵1元，问梨的价格。直觉答案是0.1元，但实际答案是0.05元。 2. CRT-2：5个人在5分钟内种了5棵树，那么10个人种10棵树需要多少分钟？直觉答案是10分钟，正确答案是5分钟。 3. CRT-3：细菌每分钟增长一倍面积，48分钟后充满培养皿，问覆盖一半面积需要多久？直觉可能认为是24分钟，但实际上应该是47分钟。 通过这些案例，我们可以看出，虽然大模型在复杂语言理解和生成上具有显著优势，但在需要深度思考和反直觉推理的问题上，它们并不总是表现得像人类一样。ChatGPT在某些方面已经能够克服这一挑战，而GPT-4更是超越了之前的版本，能更好地处理这类需要打破常规思维的问题。 这项研究的结果对于理解人工智能在模拟人类智能方面的进步具有重要意义，同时也揭示了当前AI模型在处理非线性或需要批判性思维任务时的局限性。随着技术的发展，我们期待未来的模型能在更多维度上接近甚至超越人类的思维能力，这将对AI在教育、决策支持和其他需要复杂推理的领域的应用产生深远影响。