(相關(guān)資料圖)
搜狐科技消息,國產(chǎn)多模態(tài)大語言模型 TigerBot 近日正式發(fā)布,包含 70 億參數(shù)和 1800 億參數(shù)兩個(gè)版本,目前已經(jīng)在 GitHub開源。據(jù)悉,TigerBot帶來的創(chuàng)新主要在于“提出指令完成監(jiān)督微調(diào)的創(chuàng)新算法提升模型可學(xué)習(xí)性”、“運(yùn)用ensemble和probabilistic modeling的方法實(shí)現(xiàn)可控事實(shí)性和創(chuàng)造性”、“在并行訓(xùn)練上突破deep-speed等主流框架中的內(nèi)存和通信問題”。
研究人員陳燁在虎博科技官網(wǎng)表示:“該模型在只使用少量參數(shù)的情況下,就能快速理解人類提出了哪類問題。根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動(dòng)評(píng)測(cè),TigerBot-7B 已達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%?!?/p>
原微博鏈接>>
標(biāo)簽:
熱門