6月16日，在人工智能框架生態(tài)峰會(huì)2023上，中國科學(xué)院自動(dòng)化研究所(以下簡稱自動(dòng)化所)所長、研究員徐波正式發(fā)布“紫東太初”全模態(tài)大模型。

　　徐波介紹，“紫東太初”全模態(tài)大模型是在千億參數(shù)多模態(tài)大模型“紫東太初”1.0基礎(chǔ)上升級打造的2.0版本，其在語音、圖像和文本三模態(tài)的基礎(chǔ)上，加入視頻、傳感信號、3D點(diǎn)云等模態(tài)數(shù)據(jù)，研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力。

　　中國科學(xué)院自動(dòng)化所發(fā)布“紫東太初”全模態(tài)大模型

　　6月16日，在人工智能框架生態(tài)峰會(huì)2023上，中國科學(xué)院自動(dòng)化研究所(以下簡稱自動(dòng)化所)所長、研究員徐波正式發(fā)布“紫東太初”全模態(tài)大模型。

　　徐波介紹，“紫東太初”全模態(tài)大模型是在千億參數(shù)多模態(tài)大模型“紫東太初”1.0基礎(chǔ)上升級打造的2.0版本，其在語音、圖像和文本三模態(tài)的基礎(chǔ)上，加入視頻、傳感信號、3D點(diǎn)云等模態(tài)數(shù)據(jù)，研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力。

　　

　　徐波發(fā)布“紫東太初”全模態(tài)大模型。自動(dòng)化所 供圖

　　值得一提的是，“紫東太初”2.0以自動(dòng)化所自研算法為核心，以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ)，依托武漢人工智能計(jì)算中心算力支持，著力打造全棧國產(chǎn)化通用人工智能底座。

　　會(huì)上，徐波與工作人員首次對外實(shí)時(shí)展示了“紫東太初”全模態(tài)大模型在音樂理解與生成、三維場景導(dǎo)航、信號理解、多模態(tài)對話等方面的新功能，并邀請現(xiàn)場觀眾與大模型即時(shí)互動(dòng)。互動(dòng)中，大模型展示了其能在三維場景里實(shí)現(xiàn)精準(zhǔn)定位，還能夠通過圖像與聲音的結(jié)合完成場景分析。

　　據(jù)了解，自動(dòng)化所自2019年起就確立了多模態(tài)大模型布局，整合所內(nèi)圖像、文本、語音等研究方向的優(yōu)勢資源開展集團(tuán)式攻關(guān)，并于2021年9月成功打造“紫東太初”1.0多模態(tài)大模型，助推人工智能從“一專一能”邁向“多專多能”。“紫東太初”2.0從技術(shù)架構(gòu)上實(shí)現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的全模態(tài)開放式接入，突破了能對信息理解和生成的多模態(tài)分組認(rèn)知編解碼技術(shù)、能融合多個(gè)任務(wù)的認(rèn)知增強(qiáng)多模態(tài)關(guān)聯(lián)技術(shù)等，多模態(tài)認(rèn)知能力大幅提升。

　　徐波表示，目前，“紫東太初”大模型已展現(xiàn)出廣闊的產(chǎn)業(yè)應(yīng)用前景，在神經(jīng)外科手術(shù)導(dǎo)航、短視頻內(nèi)容審核、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域已開始了一系列引領(lǐng)性、示范性應(yīng)用。例如，在醫(yī)療場景，“紫東太初”大模型部署于神經(jīng)外科機(jī)器人MicroNeuro，可實(shí)現(xiàn)在術(shù)中實(shí)時(shí)融合視覺、觸覺等多模態(tài)信息，協(xié)助醫(yī)生對手術(shù)場景進(jìn)行實(shí)時(shí)推理判斷。

　　作者：趙廣立 來源：中國科學(xué)報(bào) 發(fā)布時(shí)間：2023/6/16 13:41:43