梅卡曼德與漢堡大學(xué)張建偉院士實(shí)驗(yàn)室攜手探索機(jī)器人多模態(tài)大模型

梅卡曼德與漢堡大學(xué)張建偉院士實(shí)驗(yàn)室達(dá)成合作協(xié)議，共同致力于機(jī)器人多模態(tài)大模型的研究與創(chuàng)新。在當(dāng)今大模型技術(shù)迅猛發(fā)展的時(shí)代，具身智能正逐漸成為人們關(guān)注的焦點(diǎn)。梅卡曼德始終致力于研發(fā)最先進(jìn)的智能機(jī)器人技術(shù)，深知實(shí)現(xiàn)真正智能化的關(guān)鍵在于機(jī)器人的多模態(tài)能力。

張建偉院士首次提出跨模態(tài)學(xué)習(xí)機(jī)器人的概念，通過(guò)綜合大量含有噪聲且多源異構(gòu)的視覺(jué)、聽(tīng)覺(jué)、軀體感覺(jué)等多模態(tài)感知信息，來(lái)實(shí)現(xiàn)通用具身智能，并率先提出并呼吁開(kāi)展在中國(guó)腦計(jì)劃中的具身智能機(jī)器人研究。張?jiān)菏繄F(tuán)隊(duì)在機(jī)器人類(lèi)人技能操作、多模態(tài)人機(jī)交互、工業(yè)4.0智能計(jì)算等前沿領(lǐng)域研究深耕多年，發(fā)表SCI/EI收錄論文500余篇，出版專(zhuān)著6部。近些年，團(tuán)隊(duì)在注意力機(jī)制、基于協(xié)同表征的學(xué)習(xí)等領(lǐng)域取得開(kāi)創(chuàng)性成果，提出基于自注意力網(wǎng)絡(luò)大模型的學(xué)習(xí)算法，利用注意力表征實(shí)現(xiàn)物體功能可供性的精細(xì)抓取與靈巧操作，為多模態(tài)智能裝配奠定基礎(chǔ)。通過(guò)與張建偉院士實(shí)驗(yàn)室的緊密合作，我們將共同探索機(jī)器人多模態(tài)大模型的研發(fā)與應(yīng)用。

根據(jù)合作協(xié)議，我們正在共同研發(fā)一種全面融合視覺(jué)、語(yǔ)音和語(yǔ)言能力的機(jī)器人大模型。這種模型將使機(jī)器人能夠感知和理解環(huán)境中的多種信號(hào)，并通過(guò)自然語(yǔ)言與人類(lèi)進(jìn)行交流。研發(fā)成果能夠大幅提升機(jī)器人的智能化水平，使其更好地與人類(lèi)進(jìn)行自然合作和互動(dòng)。通過(guò)梅卡曼德與漢堡大學(xué)張建偉院士實(shí)驗(yàn)室的強(qiáng)強(qiáng)聯(lián)手，我們將共同努力，突破機(jī)器人技術(shù)的瓶頸，為工業(yè)機(jī)器人帶來(lái)更加先進(jìn)和創(chuàng)新的解決方案。