• OpenBA

據(jù) Arxiv 頁(yè)面顯示，來(lái)自蘇州大學(xué)的一個(gè)研發(fā)團(tuán)隊(duì)近日推出一款名為 OpenBA 的開源 seq2seq 模型。

據(jù)悉， OpenBA 是一款具有150億參數(shù)的雙語(yǔ)非對(duì)稱seq2seq模型，也是首個(gè)加入中國(guó)開源模型社區(qū)的大語(yǔ)言模型變體。論文顯示，研究者采用高效的技術(shù)以及采用三階段的訓(xùn)練策略，從頭開始訓(xùn)練了OpenBA模型。

實(shí)驗(yàn)顯示，OpenBA 在 BELEBELE 基準(zhǔn)測(cè)試中的性能優(yōu)于 LLaMA-70B，在 MMLU 基準(zhǔn)測(cè)試中的性能優(yōu)于 BLOOM-176B，在 C-Eval（hard）基準(zhǔn)測(cè)試中的性能優(yōu)于 GLM-130B。