你是否曾經(jīng)想過(guò)，如果機(jī)器人能像人一樣聽(tīng)懂我們的語(yǔ)言，自動(dòng)分解、規(guī)劃和執(zhí)行任務(wù)，那將會(huì)是多麼神奇的事情？
這一切，現(xiàn)在已經(jīng)成為現(xiàn)實(shí)。達(dá)闥推出了機(jī)器人行業(yè)的多模態(tài)人工智能大模型——RobotGPT，讓機(jī)器人真正聽(tīng)懂你的話語(yǔ)。那麼，什麼是多模態(tài)大模型？RobotGPT大模型具體是什麼，能幹什麼？這些熱知識(shí)，一文帶你看懂，手指下滑，一起來(lái)GET！
什麼是RobotGPT？機(jī)器人多模態(tài)大模型！
RobotGPT是為實(shí)現(xiàn)機(jī)器人在複雜應(yīng)用場(chǎng)景下的多模態(tài)行為而提供的交互生成型AI（Generative AI）模型。它以Transformer為基礎(chǔ)，具備多模態(tài)（文本、語(yǔ)音、圖片、視覺(jué)、運(yùn)動(dòng)、點(diǎn)雲(yún)等）融合感知、認(rèn)知、決策和行為生成能力。簡(jiǎn)單來(lái)說(shuō)，RobotGPT就像一個(gè)全能的機(jī)器人大腦，可以理解和處理各種類型的信息，然後做出相應(yīng)的決策和行動(dòng)。
RobotGPT是達(dá)闥為機(jī)器人設(shè)計(jì)的多模態(tài)大模型，※幫你劃重點(diǎn)：RobotGPT不是應(yīng)用，它是大模型！
小知識(shí)：什麼是多模態(tài)大模型？
目前常見(jiàn)的AI大模型有NLP（自然語(yǔ)言處理）大模型、CV計(jì)算機(jī)視覺(jué)大模型、多模態(tài)大模型等。NLP大模型具備超強(qiáng)語(yǔ)言理解能力以及對(duì)話生成、文學(xué)創(chuàng)作等能力，比如ChatGPT。CV計(jì)算機(jī)視覺(jué)大模型，可以對(duì)海量圖片進(jìn)行識(shí)別。這兩種大模型基本都是單模態(tài)的。多模態(tài)大模型是指能夠處理和理解多種類型數(shù)據(jù)（如文本、圖像、聲音等）的大模型。
未來(lái)的通用人工智能（AGI）將邁向兩個(gè)不同的方向：一是走向多模態(tài)，大模型不僅限於文本和視覺(jué)，還可能擴(kuò)展到嗅覺(jué)和觸覺(jué)等感官領(lǐng)域；二是走向具身智能，涵蓋機(jī)器人、機(jī)械臂、無(wú)人車等物理實(shí)體，使通用人工智能進(jìn)入物理世界。人類的生存環(huán)境和思考過(guò)程都是多模態(tài)的（圖、文、聲、光、電、影等），因此，未來(lái)真正的AGI必然是與人類相仿的，高效的多模態(tài)智能處理機(jī)，RobotGPT就是一個(gè)多模大模型，它具備高效的多模態(tài)信息處理能力和人性化的行為表達(dá)能力，可以對(duì)文本、語(yǔ)音、圖片、視覺(jué)、運(yùn)動(dòng)、點(diǎn)雲(yún)等多種信息來(lái)源進(jìn)行理解和處理，支持語(yǔ)言、視覺(jué)和運(yùn)動(dòng)的多模態(tài)行為表達(dá)，使得人機(jī)交互更加自然、富有情感。
RobotGPT核心功能：更貼近人的交互方式、更智能的行為決策
RobotGPT發(fā)佈后還有一個(gè)被大家問(wèn)爆了的問(wèn)題是它能幹什麼，現(xiàn)在一起來(lái)看下吧。
目前RobotGPT擁有多模態(tài)交互、生成式AI、自主感知和認(rèn)知、智能決策等強(qiáng)大功能。其中，多模態(tài)交互和多模態(tài)融合智能，為機(jī)器人提供更多元全面的感知和認(rèn)知能力，從而提高人機(jī)交互的效果和體驗(yàn)。大模型結(jié)合具身智能和AIGC，讓機(jī)器人對(duì)話理解能力大幅提升，能像人一樣去理解材料和對(duì)話，生成符合人類價(jià)值觀的回答，自動(dòng)任務(wù)分解和自主行為決策可以讓機(jī)器人作出自主決策和動(dòng)作。智能語(yǔ)音、圖片視頻理解，讓機(jī)器人能聽(tīng)、能看、能懂，全方位理解人的需求。情感分析、表情動(dòng)作生成，讓機(jī)器人更有情感，更有溫度。AI變聲、聲紋識(shí)別，讓機(jī)器人更有個(gè)性，更有安全感。行業(yè)問(wèn)答、多輪對(duì)話，無(wú)論你有任何問(wèn)題，機(jī)器人都能對(duì)答如流。
這是RobotGPT的AIGC對(duì)話生成效果展示，回答流暢自然有邏輯，有大量知識(shí)儲(chǔ)備。還有一個(gè)很炸裂的能力是，你不需要花費(fèi)心思給AI編造完整的人設(shè)和個(gè)性，目前後臺(tái)有近百種AI人設(shè)，還有通過(guò)預(yù)設(shè)任務(wù)選擇，就可完成上百種典型場(chǎng)景的精準(zhǔn)問(wèn)答。
當(dāng)然，「Chat」只是RobotGPT其中一項(xiàng)能力，只靠閑聊、寫詩(shī)、作畫無(wú)法重構(gòu)人類社會(huì)。RobotGPT最重要的是為機(jī)器人帶來(lái)了更加先進(jìn)的多模態(tài)感知和自主認(rèn)知能力、複雜邏輯推理和智能決策能力以及多模態(tài)行為表達(dá)能力，通過(guò)強(qiáng)化學(xué)習(xí)、視覺(jué)語(yǔ)言導(dǎo)航、視覺(jué)語(yǔ)言操作、運(yùn)動(dòng)控制等前沿技術(shù)，大模型能夠高效處理和分析海量數(shù)據(jù)，讓機(jī)器人更加深入地理解周圍環(huán)境，自主的去靈活應(yīng)對(duì)各種任務(wù)和挑戰(zhàn)。
舉個(gè)例子，當(dāng)你對(duì)一個(gè)集成了RobotGPT的機(jī)器人說(shuō)「我口渴了」， 這個(gè)指令並沒(méi)有明確包含具體的對(duì)象「水」，而是隱含了「去接一杯水」的需求，機(jī)器人會(huì)通過(guò)常識(shí)推理、場(chǎng)景感知、用戶畫像信息決策去哪裡取水，用何種工具接水，取水后如何返回，以及如何將水遞給你。然後，利用視覺(jué)語(yǔ)言導(dǎo)航、位姿估計(jì)、抓取檢測(cè)、運(yùn)動(dòng)控制等技術(shù)去完成倒水任務(wù)，這一系列過(guò)程是完全自主決策的，不需要人為的干預(yù)。隨著大模型規(guī)模增大到一定程度，機(jī)器人將能夠像人一樣使用經(jīng)驗(yàn)來(lái)穿越複雜環(huán)境。
RobotGPT重心在於解決行業(yè)側(cè)需求 推動(dòng)產(chǎn)業(yè)升級(jí)和變革
一個(gè)業(yè)界共識(shí)是，大模型紮根行業(yè)，與行業(yè)深度結(jié)合，才能做的深，走得遠(yuǎn)。
相較通用大模型，更有針對(duì)性、更專業(yè)化的行業(yè)大模型在金融、醫(yī)療、政務(wù)、教育等多個(gè)行業(yè)擁有廣泛的應(yīng)用和商業(yè)創(chuàng)新潛力。RobotGPT是機(jī)器人大模型，它構(gòu)建在基礎(chǔ)大模型的能力之上，具備一定的通用能力，同時(shí)能覆蓋多任務(wù)使用場(chǎng)景，能更好地理解和處理行業(yè)特定的問(wèn)題和任務(wù)。無(wú)論是在能源電力、醫(yī)療健康、金融保險(xiǎn)、交通樞紐、教育諮詢、高端製造還是其他領(lǐng)域，RobotGPT都能發(fā)揮其強(qiáng)大的能力。基於多年在雲(yún)端機(jī)器人領(lǐng)域的深耕和積累，達(dá)闥已聯(lián)合行業(yè)頭部企業(yè)，對(duì)超過(guò)10個(gè)的典型行業(yè)的100多個(gè)業(yè)務(wù)場(chǎng)景進(jìn)行了大模型的支持和應(yīng)用，並且在多個(gè)領(lǐng)域沉澱了完整的項(xiàng)目解決方案。
這是經(jīng)過(guò)定製化訓(xùn)練后，RobotGPT對(duì)於垂直領(lǐng)域的實(shí)際對(duì)話效果展示，比如做一個(gè)專業(yè)的政務(wù)服務(wù)問(wèn)答，在醫(yī)院協(xié)助患者問(wèn)診等，可以看出，RobotGPT能針對(duì)特定場(chǎng)景、解決特定問(wèn)題，讓機(jī)器人迅速做出適配指令的合適行動(dòng)。
目前市場(chǎng)上的大模型大多依賴公開(kāi)數(shù)據(jù)集或網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，這導(dǎo)致其產(chǎn)生的結(jié)果在專業(yè)性和精確性上有所不足。在商業(yè)領(lǐng)域，大模型達(dá)到95%的精度是必要的門檻。在回答精度方面，RobotGPT也沒(méi)輸過(guò)，它能精準(zhǔn)理解業(yè)務(wù)場(chǎng)景，回答準(zhǔn)確率超過(guò)95%，遠(yuǎn)高於行業(yè)平均水平。
說(shuō)到訓(xùn)練，RobotGPT是怎麼訓(xùn)練的呢？
RobotGPT最佳訓(xùn)練平臺(tái)：海睿OS
在AI領(lǐng)域，大模型是具有龐大的參數(shù)規(guī)模和複雜程度的機(jī)器學(xué)習(xí)模型，通常需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，以便學(xué)習(xí)到足夠複雜的模式。訓(xùn)練一個(gè)AI模型，技術(shù)複雜度並不比訓(xùn)練一個(gè)國(guó)家隊(duì)運(yùn)動(dòng)員低，海睿OS操作系統(tǒng)為RobotGPT提供了理想的訓(xùn)練平臺(tái)。在這裏，我們構(gòu)建了一個(gè)超級(jí)真實(shí)、虛實(shí)同步的"海元世界"，這就是"機(jī)器人元宇宙"，通過(guò)數(shù)字孿生訓(xùn)練和強(qiáng)化學(xué)習(xí)等技術(shù)，可以讓機(jī)器人在視覺(jué)、語(yǔ)音、情緒、動(dòng)作等方面進(jìn)行無(wú)數(shù)次的"鍛煉"，不斷進(jìn)化。
前面我們提到，僅靠公開(kāi)數(shù)據(jù)集或網(wǎng)絡(luò)數(shù)據(jù)來(lái)訓(xùn)練大模型是不夠的，海睿OS不僅支持吸收大量來(lái)自真實(shí)環(huán)境下的機(jī)器人行為數(shù)據(jù)，還支持合成海量高質(zhì)量的合成數(shù)據(jù)，這是多模態(tài)機(jī)器人大模型訓(xùn)練的基礎(chǔ)，通過(guò)自動(dòng)創(chuàng)建、生成現(xiàn)實(shí)世界中難以或者無(wú)法採(cǎi)集的數(shù)據(jù)場(chǎng)景，可以模擬各種可能的情況、提供更多的訓(xùn)練樣本，從而提高模型的精確性、可靠性、安全性。
此外，海睿OS還提供了一個(gè)基於數(shù)字孿生的可視化機(jī)器人應(yīng)用開(kāi)發(fā)套件（HARIX RDK），開(kāi)發(fā)者可以建立仿真環(huán)境，模擬現(xiàn)實(shí)世界的目標(biāo)場(chǎng)景，進(jìn)行機(jī)器人多模態(tài)技能訓(xùn)練。同時(shí)，RobotGPT還有基於大模型的示範(fàn)學(xué)習(xí)技術(shù)，通過(guò)視覺(jué)、語(yǔ)音、思維鏈和原子技能組合示教，開(kāi)發(fā)者可以像教孩子學(xué)習(xí)一樣，教授機(jī)器人各種技能。
RobotGPT兩種形態(tài)：服務(wù)平臺(tái)和一體機(jī)隨心選
RobotGPT的產(chǎn)品形態(tài)有服務(wù)平臺(tái)和一體機(jī)兩種可選，服務(wù)平臺(tái)提供RobotGPT多模態(tài)大模型的在線服務(wù)，一體機(jī)則為軟硬一體機(jī)，是為解決企業(yè)在業(yè)務(wù)中面向特定行業(yè)的生成式大模型推理、訓(xùn)練或混合推訓(xùn)及應(yīng)用私有化部署等剛性需求而設(shè)計(jì)的行業(yè)多模態(tài)大模型尖端產(chǎn)品。
AI奇點(diǎn)在即，人機(jī)交互方式發(fā)生了根本性變化，大模型將成為每位工作者無(wú)處不在的得力助手。
AI不會(huì)直接取代人類，而是[會(huì)使用AI的人]替代[不會(huì)使用AI的人]，何不先於他人擁有機(jī)器人領(lǐng)域大模型「RobotGPT」？你更可以基於RobotGPT多模態(tài)大模型，利用私域數(shù)據(jù)進(jìn)行訓(xùn)練調(diào)優(yōu)，打造屬於自己的行業(yè)大模型。
RobotGPT賦能千行百業(yè)、引領(lǐng)具身智能，達(dá)闥希望通過(guò)RobotGPT幫助更多產(chǎn)業(yè)夥伴，來(lái)完成數(shù)字化轉(zhuǎn)型和降本增效，為產(chǎn)業(yè)和社會(huì)創(chuàng)造更大價(jià)值！
掃描微信公眾號(hào)
