由加州大學圣地亞哥分校領導的研究人員開發(fā)了一種新模型，可以訓練四足機器人在3D中看得更清楚。這一進步使機器人能夠輕松地自主穿越具有挑戰(zhàn)性的地形——包括樓梯、巖石地面和充滿縫隙的路徑——同時清除途中的障礙。

(資料圖片僅供參考)

研究人員將在6月18日至22日在加拿大溫哥華舉行的2023年計算機視覺和模式識別會議(CVPR)上展示他們的工作。

“通過讓機器人更好地了解周圍的3D環(huán)境，它可以部署在現(xiàn)實世界中更復雜的環(huán)境中，”該研究的資深作者、加州大學圣地亞哥分校雅各布斯學院電氣與計算機工程教授XiaolongWang說。工程學。

該機器人的頭部配備了一個前向深度攝像頭。相機向下傾斜一定角度，可以很好地觀察前方的場景和下方的地形。

為了提高機器人的3D感知能力，研究人員開發(fā)了一種模型，該模型首先從相機中獲取2D圖像并將其轉(zhuǎn)換為3D空間。它通過查看由當前幀和幾個先前幀組成的短視頻序列，然后從每個2D幀中提取3D信息來實現(xiàn)這一點。其中包括有關機器人腿部運動的信息，例如關節(jié)角度、關節(jié)速度和與地面的距離。該模型將來自先前幀的信息與來自當前幀的信息進行比較，以估計過去和現(xiàn)在之間的3D轉(zhuǎn)換。

該模型將所有這些信息融合在一起，以便它可以使用當前幀來合成之前的幀。隨著機器人的移動，模型會根據(jù)相機已經(jīng)捕獲的幀檢查合成幀。如果它們匹配得很好，那么模型就知道它已經(jīng)學會了3D場景的正確表示。否則，它會進行更正，直到正確為止。

3D表示用于控制機器人的運動。通過綜合過去的視覺信息，機器人能夠記住它所看到的，以及它的腿之前做過的動作，并利用這些記憶來決定下一步的動作。

“我們的方法允許機器人建立對其3D環(huán)境的短期記憶，以便它可以更好地行動，”Wang說。

這項新研究建立在團隊之前的工作之上，研究人員開發(fā)了將計算機視覺與本體感覺相結合的算法——包括運動感、方向、速度、位置和觸覺——使四足機器人能夠在不平坦的地面上行走和奔跑在避開障礙物的同時。這里的進步在于，通過改進機器人的3D感知(并將其與本體感受相結合)，研究人員表明機器人可以穿越比以前更具挑戰(zhàn)性的地形。

“令人興奮的是，我們開發(fā)了一個單一模型，可以應對不同類型的挑戰(zhàn)性環(huán)境，”Wang說。“那是因為我們對3D環(huán)境有了更好的理解，這使得機器人在不同場景中更加靈活?！?/p>

然而，該方法有其局限性。Wang指出，他們目前的模型并沒有引導機器人到達特定的目標或目的地。部署時，機器人只需走一條直線路徑，如果它看到障礙物，它就會通過另一條直線路徑走開來避開它?！皺C器人無法準確控制它的去向，”他說?！霸谖磥淼墓ぷ髦校覀兿Ｍǜ嗟囊?guī)劃技術并完成導航管道。”

該論文的合著者包括加州大學圣地亞哥分校的RuihanYang和麻省理工學院的GeYang。