(資料圖片)
機器人學習技術能夠概括廣泛的任務、設置和對象。不幸的是，這些策略需要廣泛、多樣化的數(shù)據(jù)集，而在實際的機器人環(huán)境中獲取這些數(shù)據(jù)集既困難又昂貴。機器人學習的普遍性需要訪問機器人直接環(huán)境之外的先驗或數(shù)據(jù)。
數(shù)據(jù)擴充是增強模型泛化能力的有用工具。但大多數(shù)方法在低級視覺空間中運行，以顏色抖動、高斯模糊和裁剪等方式改變數(shù)據(jù)。然而，它們仍然無法處理圖片中顯著的語義差異，例如分散注意力的元素、不同的背景或不同對象的外觀。
GenAug 是由華盛頓大學和 Meta AI 開發(fā)的語義數(shù)據(jù)增強框架，它使用預訓練的文本到圖像生成模型來促進實際機器人中基于模仿的學習。與機器人數(shù)據(jù)相比，預訓練的生成模型可以訪問更大、更多樣化的數(shù)據(jù)集。這項研究使用這些生成模型來補充數(shù)據(jù)，以訓練現(xiàn)實世界中的實際機器人。這項研究基于這樣一種直覺信念，即盡管場景、背景和項目外觀存在差異，但在一個環(huán)境中完成任務的方法通常應該可以轉移到不同情況下的相同任務。
生成模型可以生成截然不同的視覺情況，具有不同的背景和項目外觀，在這些情況下，相同的行為仍然有效。同時，有限的機器人體驗提供了所需行為的演示。此外，這些生成模型是根據(jù)真實數(shù)據(jù)訓練的，因此生成的場景看起來逼真且多變。通過這樣做，可以從有限數(shù)量的演示中輕松且經(jīng)濟地生成大量語義，從而使學習代理可以訪問比僅在機器人上演示數(shù)據(jù)更多樣化的設置。
GenAug 可以為全新的真實環(huán)境生成“增強的”RGBD 圖像，展示機器人在現(xiàn)實世界中可能體驗到的場景的視覺真實性和復雜性，給定真實機器人系統(tǒng)上提供的圖像動作示例數(shù)據(jù)集。具體來說，對于在桌面上執(zhí)行操作任務的機器人，GenAug 結合使用語言提示和生成模型來改變項目的紋理和形狀，并添加新的分散注意力的元素和與原始場景在物理上保持一致的背景場景。
Meta 的研究論文表明，GenAug 可用于從單一、簡單的環(huán)境創(chuàng)建10個真實世界的復雜演示。根據(jù)研究結果，與傳統(tǒng)方法相比，GenAug 可以將機器人訓練提高40%，讓機器人可以在從未見過的地方和物品上進行訓練。
該團隊計劃將 GenAug 應用于機器人學習的其他領域，例如行為克隆和強化學習，并超越更困難的操作問題。研究人員認為，研究語言和視覺語言模型的混合是否或是否可以提供出色的場景生成器，這將是一種引人入勝的方法。
責任編輯：李楠
分享到：版權聲明：凡注明來源“流媒體網(wǎng)”的文章，版權均屬流媒體網(wǎng)所有，轉載需注明出處。非本站出處的文章為轉載，觀點供業(yè)內參考，不代表本站觀點。文中圖片均來源于網(wǎng)絡收集整理，僅供學習交流，版權歸原作者所有。如涉及侵權，請及時聯(lián)系我們刪除!
