DeepMind：GPT-5正在訓練中 比當前模型大100倍

DeepMind聯(lián)合創(chuàng)始人Suleyman表示，GPT-5仍在秘密訓練中，未來將會比現(xiàn)在的GPT-4大100倍。

其實，Open AI CEO Sam Altman此前曾否認訓練GPT-5的這一說法。有消息人士表示，OpenAI可能給它起了一個新名字，所以他們才說沒有訓練GPT-5。

Suleyman目前是Inflection AI的CEO，Inflection AI正在建造世界上最大的超級計算機之一，并且他認為在接下來的18個月內，他們可能會進行一次比制造GPT-4的語言模型訓練運行大10倍或100倍的訓練運行。

今年3月份GPT-4正式發(fā)布，和ChatGPT最初使用的GPT-3.5模型相比，GPT-4實現(xiàn)了幾個方面的飛躍式提升：強大的識圖能力;文字輸入限制提升至2.5萬字;回答準確性顯著提高;能夠生成歌詞、創(chuàng)意文本，實現(xiàn)風格變化。

GPT-3.5有1750億參數(shù)規(guī)模，OpenAI沒有公布過GPT-4的具體規(guī)格，但之后的分析認為它擁有16個專家模型，每個MLP專家大約有1110億個參數(shù)，總計1.8萬億參數(shù)，是GPT-4的10倍規(guī)模。

GPT-5如果按照這個比例來提升，那要突破10萬億參數(shù)了，有可能成為最大規(guī)模的AI大模型，遠超其他所有對手。