OpenAI CEO放话:GPT-4参数量不增反减
GPT-4官宣? 近日,OpenAI的首席执行官Sam Altman出席了「the AC10 online meetup」的线上QA,并透露了关于GPT-4的最新消息。 去年,OpenAI在一篇题为「语言模型是小样本学习者」的论文中介绍了当时最大的神经网络GPT-3。 作为最先进的语言模型,GPT-3包括1750亿个参数,而其前身GPT-2的参数为15亿,并且击败了之前保持「有史以来最大」记录的图灵NLG模型(170亿)。 由于OpenAI几乎是每间隔一年就发布一个GPT模型:2018年发布了GPT-1,2019年发布了GPT-2,2020年发布了GPT-3。 到了2021年,网络上对于测GPT-4的猜测就如雨后春笋一般层出不穷。 例如7月份的一篇报道预测GPT-4或许会有10万亿的参数量。 也有文章表示GPT-4的参数量将与大脑的突触一样多,达到100万亿个。 甚至连OpenAI的「自己人」也觉得这怎么也得有个100亿吧。 然而,谁也没有想到,GPT-4的参数竟然比GPT-3还少! GPT-4的期待 Altman在采访中表示:「与流行的看法相反,GPT-4不会比GPT-3大,但