近日，啟明創(chuàng)投投資企業(yè)、認(rèn)知智能領(lǐng)跑者智譜AI開源了GLM系列模型的新成員——中英雙語對話模型ChatGLM-6B，支持在單張消費(fèi)級顯卡上進(jìn)行推理使用。這是繼此前開源GLM-130B千億基座模型之后，智譜AI再次推出大模型方向的研究成果。與此同時，基于千億基座模型的ChatGLM也同期推出，初具問答和對話功能，現(xiàn)已開啟邀請制內(nèi)測（內(nèi)測申請網(wǎng)址：chatglm.cn），后續(xù)還會逐步擴(kuò)大內(nèi)測范圍。

ChatGLM-6B是一個開源的、支持中英雙語問答的對話語言模型，并針對中文進(jìn)行了優(yōu)化。該模型基于General Language Model（GLM）架構(gòu)，具有62億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級的顯卡上進(jìn)行本地部署（INT4量化級別下最低只需6GB顯存）。

ChatGLM-6B使用了和ChatGLM相同的技術(shù)，針對中文問答和對話進(jìn)行了優(yōu)化。經(jīng)過約1T標(biāo)識符的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62億參數(shù)的ChatGLM-6B雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。

具體來說，ChatGLM-6B具備以下特點(diǎn)：

• 充分的中英雙語預(yù)訓(xùn)練：ChatGLM-6B在1:1比例的中英語料上訓(xùn)練了1T的token量，兼具雙語能力。

• 優(yōu)化的模型架構(gòu)和大小：吸取GLM-130B訓(xùn)練經(jīng)驗，修正了二維RoPE位置編碼實(shí)現(xiàn)，使用傳統(tǒng)FFN結(jié)構(gòu)。6B（62億）的參數(shù)大小，也使得研究者和個人開發(fā)者自己微調(diào)和部署ChatGLM-6B成為可能。

• 較低的部署門檻：FP16半精度下，ChatGLM-6B需要至少13GB的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到10GB（INT8）和6GB（INT4），使得ChatGLM-6B可以部署在消費(fèi)級顯卡上。

• 更長的序列長度：相比GLM-10B（序列長度1024），ChatGLM-6B序列長度達(dá)2048，支持更長對話和應(yīng)用。

• 人類意圖對齊訓(xùn)練：使用了監(jiān)督微調(diào)（Supervised Fine-Tuning）、反饋?zhàn)灾‵eedback Bootstrap）、人類反饋強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人類指令意圖的能力。輸出格式為markdown，方便展示。

基于以上特點(diǎn)，ChatGLM-6B在一定條件下具備較好的對話與問答能力，以下是ChatGLM-6B的對話效果展示：

不過由于ChatGLM-6B模型的容量較小，不可避免地存在一些局限和不足，包括：

• 相對較弱的模型記憶和語言能力：在面對許多事實(shí)性知識任務(wù)時，ChatGLM-6B可能會生成不正確的信息，也不太擅長邏輯類問題（如數(shù)學(xué)、編程）的解答。

• 可能會產(chǎn)生有害說明或有偏見的內(nèi)容：ChatGLM-6B只是一個初步與人類意圖對齊的語言模型，可能會生成有害、有偏見的內(nèi)容。

• 較弱的多輪對話能力：ChatGLM-6B的上下文理解能力還不夠充分，在面對長答案生成和多輪對話的場景時，可能會出現(xiàn)上下文丟失和理解錯誤的情況。

同時，智譜AI還開啟了ChatGLM線上模型的內(nèi)測。相比起ChatGLM-6B，ChatGLM線上模型的能力提升主要來源于獨(dú)特的千億基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架構(gòu)，是一個包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。

2022年11月，斯坦福大學(xué)大模型中心對全球30個主流大模型進(jìn)行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。在與OpenAI、Google Brain、微軟、英偉達(dá)、Meta AI的各大模型對比中，評測報告顯示GLM-130B在準(zhǔn)確性和公平性指標(biāo)上與GPT-3 175B（davinci）接近或持平，魯棒性、校準(zhǔn)誤差和無偏性優(yōu)于GPT-3 175B。

基于千億基座的ChatGLM線上模型目前進(jìn)行邀請制內(nèi)測，用戶需要使用邀請碼進(jìn)行注冊，也可以填寫基本信息申請內(nèi)測。

由ChatGLM生成的對話效果展示：

整體而言，ChatGLM距離國際頂尖大模型研究和產(chǎn)品還有一定差距，GLM團(tuán)隊也在博客中坦言了這一點(diǎn)，并表示將持續(xù)研發(fā)并開源更新版本的ChatGLM和相關(guān)模型。

歡迎下載ChatGLM-6B，基于它進(jìn)行研究和（非商用）應(yīng)用開發(fā)。GLM團(tuán)隊希望能和開源社區(qū)研究者和開發(fā)者一起，推動大模型研究和應(yīng)用在中國的發(fā)展。

請復(fù)制下方網(wǎng)址在瀏覽器打開，獲取ChatGLM-6B模型開源及ChatGLM線上模型的更多具體信息。

• ChatGLM-6B模型開源信息網(wǎng)址：https://github.com/THUDM/ChatGLM-6B

• ChatGLM線上模型內(nèi)測申請網(wǎng)址：chatglm.cn

• ChatGLM博客網(wǎng)址：https://chatglm.cn/blog