“悟道3.0”大模型系列成果亮相北京智源大會(huì)

6月9日-10日，“北京智源大會(huì)”在中關(guān)村國(guó)家自主創(chuàng)新示范區(qū)會(huì)議中心舉行。智源研究院院長(zhǎng)黃鐵軍發(fā)布《2023智源研究院進(jìn)展報(bào)告》，并發(fā)布了全面開(kāi)源的“悟道3.0”系列大模型及算法。

200余位人工智能頂尖專(zhuān)家云集北京智源大會(huì)，探討通用人工智能發(fā)展面臨的機(jī)遇與挑戰(zhàn)。主辦方供圖

智源“悟道3.0”進(jìn)入全面開(kāi)源新階段

(資料圖片僅供參考)

2021年3月，在悟道1.0發(fā)布會(huì)上，智源研究院研判人工智能已經(jīng)從“大煉模型”轉(zhuǎn)變?yōu)椤盁挻竽Ｐ汀钡男码A段，從此，“大模型”這個(gè)概念進(jìn)入公眾視野。2021年6月1日，“悟道2.0”模型發(fā)布，其參數(shù)規(guī)模達(dá)到1.75萬(wàn)億，是當(dāng)時(shí)中國(guó)首個(gè)、全球最大的萬(wàn)億級(jí)模型。

何為大模型？黃鐵軍認(rèn)為需要具備三個(gè)條件：一是規(guī)模要大，參數(shù)達(dá)百億規(guī)模以上；二是涌現(xiàn)性，能夠產(chǎn)生預(yù)料之外的新能力；三是通用性，不限于專(zhuān)門(mén)問(wèn)題或領(lǐng)域，能夠處理多種不同的任務(wù)。

如今，該系列模型已發(fā)展到“悟道3.0”版本，涵蓋語(yǔ)言、視覺(jué)、多模態(tài)等基礎(chǔ)大模型，現(xiàn)在已全面開(kāi)源，帶來(lái)一系列領(lǐng)先成果，包括“悟道·天鷹”（Aquila）語(yǔ)言大模型系列、天秤（FlagEval）開(kāi)源大模型評(píng)測(cè)體系與開(kāi)放平臺(tái)、“悟道 · 視界”視覺(jué)大模型系列，以及一系列多模態(tài)模型成果。

“天秤”協(xié)助研究人員評(píng)估基礎(chǔ)模型及訓(xùn)練算法性能

為推動(dòng)大模型產(chǎn)業(yè)落地和技術(shù)創(chuàng)新，智源研究院發(fā)布“開(kāi)源商用許可語(yǔ)言大模型系列+開(kāi)放評(píng)測(cè)平臺(tái)” 兩大成果，打造“大模型進(jìn)化流水線(xiàn)”，持續(xù)迭代、持續(xù)開(kāi)源開(kāi)放。

其中，“悟道·天鷹”（Aquila）語(yǔ)言大模型是首個(gè)具備中英雙語(yǔ)知識(shí)、支持商用許可協(xié)議、國(guó)內(nèi)數(shù)據(jù)合規(guī)需求的開(kāi)源語(yǔ)言大模型。其在中英文高質(zhì)量語(yǔ)料基礎(chǔ)上從0開(kāi)始訓(xùn)練，通過(guò)數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實(shí)現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時(shí)間內(nèi)，獲得比其他開(kāi)源模型更優(yōu)的性能。

天秤（FlagEval）開(kāi)源大模型評(píng)測(cè)體系與開(kāi)放平臺(tái)，旨在建立科學(xué)、公正、開(kāi)放的評(píng)測(cè)基準(zhǔn)、方法、工具集，協(xié)助研究人員全方位評(píng)估基礎(chǔ)模型及訓(xùn)練算法的性能，同時(shí)探索利用AI方法實(shí)現(xiàn)對(duì)主觀(guān)評(píng)測(cè)的輔助，大幅提升評(píng)測(cè)的效率和客觀(guān)性。

目前已推出語(yǔ)言大模型評(píng)測(cè)、多國(guó)語(yǔ)言文圖大模型評(píng)測(cè)及文圖生成評(píng)測(cè)等工具，并對(duì)各種語(yǔ)言基礎(chǔ)模型、跨模態(tài)基礎(chǔ)模型實(shí)現(xiàn)評(píng)測(cè)。后續(xù)將全面覆蓋基礎(chǔ)模型、預(yù)訓(xùn)練算法、微調(diào)算法等三大評(píng)測(cè)對(duì)象，包括自然語(yǔ)言處理（NLP）、計(jì)算機(jī)視覺(jué)（CV）、音頻（Audio）及多模態(tài)（Multimodal）等四大評(píng)測(cè)場(chǎng)景。

“天演”接入天河新一代超級(jí)計(jì)算機(jī)，提升神經(jīng)元網(wǎng)絡(luò)仿真性能

智源研究院還在AI for Science領(lǐng)域進(jìn)行探索，通過(guò)人工智能與基礎(chǔ)科學(xué)深度融合的嶄新科研范式，延展不同科學(xué)領(lǐng)域的探索邊界。在相關(guān)研究中，智源團(tuán)隊(duì)在生命演化和蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)方向作出了成果。

據(jù)悉，OpenComplex是智源健康計(jì)算研究中心打造的面向生物大分子的開(kāi)源人工智能算法平臺(tái)，目前已開(kāi)源蛋白質(zhì)、RNA以及復(fù)合物的高精度結(jié)構(gòu)預(yù)測(cè)訓(xùn)練和評(píng)測(cè)代碼。

去年智源大會(huì)發(fā)布了最高精度的仿真線(xiàn)蟲(chóng)?，F(xiàn)在，智源開(kāi)放仿真線(xiàn)蟲(chóng)研究所使用的“天演”平臺(tái)，提供在線(xiàn)服務(wù)。天演是超大規(guī)模精細(xì)神經(jīng)元網(wǎng)絡(luò)仿真平臺(tái)，基于該平臺(tái)，可實(shí)現(xiàn)對(duì)生物智能進(jìn)行高精度仿真，探索智能的本質(zhì)，推動(dòng)由生物啟發(fā)的通用人工智能。

為提升神經(jīng)系統(tǒng)仿真規(guī)模與性能，天演團(tuán)隊(duì)將天演接入我國(guó)新一代百億億次超級(jí)計(jì)算機(jī)——天河新一代超級(jí)計(jì)算機(jī)。通過(guò)“天演-天河”的成功運(yùn)行，實(shí)現(xiàn)鼠腦V1視皮層精細(xì)網(wǎng)絡(luò)等模型仿真，計(jì)算能耗均可降低約10倍以上，計(jì)算速度實(shí)現(xiàn)10倍以上提升，達(dá)到全球范圍內(nèi)最極致的精細(xì)神經(jīng)元網(wǎng)絡(luò)仿真性能。