“書生?浦語”2.0大語言模型開源 200K上下文

IT之家今日（1月17日）消息，商湯科技與上海 AI 實驗室聯(lián)合香港中文大學和復(fù)旦大學今日發(fā)布了新一代大語言模型書生?浦語 2.0（InternLM2）。

據(jù)介紹，InternLM2 是在 2.6 萬億 token 的語料上訓練得到的。沿襲第一代書生?浦語（InternLM）設(shè)定，InternLM2 包含 7B 及 20B 兩種參數(shù)規(guī)格及基座、對話等版本，繼續(xù)開源，提供免費商用授權(quán)。

目前，浦語背后的數(shù)據(jù)清洗過濾技術(shù)已經(jīng)歷三輪迭代升級，號稱僅使用約 60% 的訓練數(shù)據(jù)即可達到使用第二代數(shù)據(jù)訓練 1T tokens 的性能表現(xiàn)。

與第一代InternLM相比，InternLM2在大規(guī)模高質(zhì)量的驗證語料上的Loss分布整體左移，表明其語言建模能力增強。

通過拓展訓練窗口大小和位置編碼改進，InternLM2支持20萬tokens的上下文，能夠一次性接受并處理約30萬漢字（約五六百頁的文檔）的輸入內(nèi)容。

下面表格對比了InternLM2各版本與ChatGPT（GPT-3.5）以及GPT-4在典型評測集上的表現(xiàn)?？梢钥吹剑琁nternLM2在20B參數(shù)的中等規(guī)模上，整體表現(xiàn)接近ChatGPT。