这些人工智能系统可以利用照片或视频进行模拟训练机器人在物理空间中发挥作用

一些研究人员开始使用模拟来训练机器人。然而，即使是这个过程，也往往需要平面设计师或工程师的参与，而且费力又费钱。

华盛顿大学研究人员的两项新研究介绍了一种人工智能系统，该系统使用视频或照片来创建模拟，可以训练机器人在真实环境中运行。这可以大大降低训练机器人在复杂环境中运行的成本。

在第一项研究中，用户使用智能手机快速扫描空间以记录其几何形状。然后，名为RialTo的系统可以创建该空间的“数字孪生”模拟，用户可以在其中输入不同事物的功能(例如打开抽屉)。然后，机器人可以在模拟中虚拟重复动作，略作变化，以学习如何有效地完成这些动作。在第二项研究中，该团队建立了一个名为URDFormer的系统，该系统从互联网上获取真实环境的图像，并快速创建物理逼真的模拟环境，供机器人进行训练。

两个团队在荷兰代尔夫特举行的机器人科学与系统会议上展示了他们的研究成果，第一次展示于7月16日，第二次展示于7月19日。

“我们正试图让系统以低成本从现实世界进入模拟世界，”华盛顿大学保罗·G·艾伦计算机科学与工程学院助理教授、两篇论文的共同资深作者AbhishekGupta说道。“然后，这些系统可以在这些模拟场景中训练机器人，这样机器人就可以在物理空间中更有效地工作。这对于安全很有用——你不能让训练不足的机器人破坏东西并伤害人们——而且它可能会扩大使用范围。如果你只需用手机扫描机器人就可以让它在你家里工作，那么这项技术就变得普及了。”

虽然目前许多机器人非常适合在装配线等环境中工作，但教会它们与人互动以及在结构不太复杂的环境中互动仍然是一个挑战。

“例如，在工厂里，有大量的重复工作，”URDFormer研究的首席作者、艾伦学院的华盛顿大学博士生ZoeyChen说道。“这些任务可能很难完成，但一旦你对机器人进行编程，它就可以一遍又一遍地重复执行任务。而家庭是独一无二的，而且不断变化。这里有各种各样的物体、任务、平面图和穿过它们的人。这就是人工智能对机器人专家真正有用的地方。”

这两个系统以不同的方式应对这些挑战。

RialTo是Gupta与麻省理工学院团队共同开发的，它让机器人穿过一个环境，并拍摄其几何形状和移动部件的视频。例如，在厨房里，机器人会打开橱柜、烤面包机和冰箱。然后，系统使用现有的人工智能模型(人类通过图形用户界面快速展示物体的移动方式)来创建视频中显示的厨房的模拟版本。虚拟机器人在模拟环境中通过反复尝试打开烤面包机等任务来训练自己，这种方法称为强化学习。

通过在模拟中完成这一过程，机器人可以提高任务完成率，并能应对环境中的干扰或变化，例如放在烤面包机旁边的杯子。然后，机器人可以将学习成果转移到物理环境中，其准确度几乎与在真实厨房中训练的机器人一样高。

另一个系统URDFormer的重点不是单个厨房的相对高精度，而是快速且廉价地生成数百个通用厨房模拟。URDFormer扫描来自互联网的图像，并将它们与现有模型配对，例如，这些厨房抽屉和橱柜可能如何移动。然后，它根据最初的真实世界图像预测模拟结果，使研究人员能够快速且廉价地在各种环境中训练机器人。但代价是这些模拟的准确性明显低于RialTo生成的模拟结果。

“这两种方法可以相互补充，”古普塔说。“URDFormer对于数百种场景的预训练非常有用。如果你已经对机器人进行了预训练，现在想把它部署在某人的家里，并希望成功率达到95%，那么RialTo就特别有用。”

展望未来，RialTo团队希望将其系统部署到人们的家中(该系统已在实验室中进行了主要测试)，而Gupta表示，他希望将少量现实世界的训练数据纳入系统，以提高其成功率。

“希望只需极少量的真实数据就能修复故障，”古普塔说。“但我们仍需弄清楚如何最好地结合在真实世界中直接收集的数据(这很昂贵)与在模拟中收集的数据(这虽然便宜，但略有误差)。”