RoboGen 开启机器人大规模学习通用场景任务的新纪元

     
     

      
      

       
       

        
        

         
         

          
          
         
         
         
         


         
         

          
          

         
         
         
         

          CMU、MIT、清华联合发布了全球首个生成式机器人智能体RoboGen，可以无限生成数据，让机器人7*24小时永不停歇地训练。为机器人进入通用场景迈出坚实一步。
         
         
         
         

          
          

         
         
         
         

          
          
         
         
         
         

          
          

         
         
         
         

          项目地址：https://robogen-ai.github.io/
         
         
         
         

          论文地址：https://arxiv.org/abs/2311.01455
         
         
         
         

          Github地址：https://github.com/Genesis-Embodied-AI
         
         
         
         

          
          

         
         
         
         

          RoboGen，一种自动学习多样化的生成式机器人仿真，通过生成模拟大规模提高机器人技能。RoboGen 利用最新的基础模型和生成模型的进步，而不是直接使用或 调整这些模型以制定策略或低级行动一种生成方案，使用这些模型自动生成多样化的任务、场景和训练监督，从而在最少的人工监督下扩展机器人技能学习。
         
         
         
         

         
         

          
          

         
         
         
         

          该方法设置了机器人代理，通过自我引导的提议-生成-学习循环：智能体首先提出有趣的任务和技能来开发，然后生成相应的模拟，通过使用适当的空间配置填充相关对象和资产来设置环境。之后，代理将建议的高级任务分解为子任务，选择最优学习方法（强化学习、运动 计划或轨迹优化），生成所需的训练监督，然后学习策略以获得建议的技能。该工作试图提取嵌入在大型模型中的广泛而多才多艺的知识，进入了机器人领域。完全生成式路径可以反复查询，从而产生源源不断的技能演示与不同的任务和环境。

RoboGen 使用 Genesis 进行仿真和渲染，Genesis 是一种用于通用机器人学习的多材料多求解器生成式仿真引擎。
         
         
        
        
       
       
      
      
     
     
     
     

      
      

       
       

        
        

         
         

          
          
 
           
 
            
 
             
 
               
             
 
             
 
              
 
             
 
             
 实验证明，RoboGen能够生成多样化的技能演示，包括刚性和关节物体操作、可变形物体操作以及四足行走技能。与以往的人工创建的机器人技能学习数据集相比，RoboGen生成的任务和技能更加多样化，几乎不需要人类参与。该研究试图将大模型中的广泛知识转移到机器人领域，为通用机器人系统的大规模自动化技能训练迈出了一步。 
             
 
             
 
 
             
 
             
 来源：CAAI认知系统与信息处理专委会 
             
 
             
 
 
             
 
            
 
           
 
          
         
         
        
        
       
       
      
      
     
     
本文仅做学术分享，如有侵权，请联系删文。
      
      

       
       

      
      
      
      

       
       

        
        

         
         

          
          

           
           
 —THE END—