训练通用机器人的更快更好的方法新技术汇集多样化数据

在经典动画片《杰森一家》中，机器人女仆罗西可以无缝切换，从打扫房间到做饭再到倒垃圾。但在现实生活中，训练通用机器人仍然是一项重大挑战。

通常，工程师会收集特定于特定机器人和任务的数据，并使用这些数据在受控环境中训练机器人。然而，收集这些数据既昂贵又耗时，而且机器人可能很难适应它从未见过的环境或任务。

为了训练更好的通用机器人，麻省理工学院的研究人员开发了一种多功能技术，将来自多种来源的大量异构数据组合成一个系统，可以教任何机器人执行各种各样的任务。

他们的方法涉及将来自不同领域(如模拟和真实机器人)和多种模式(包括视觉传感器和机械臂位置编码器)的数据对齐成生成式AI模型可以处理的共享“语言”。

该作品发表在arXiv预印本服务器上。

通过结合如此大量的数据，这种方法可以用来训练机器人执行各种任务，而无需每次都从头开始训练。

这种方法比传统技术更快、更便宜，因为它需要的任务特定数据少得多。此外，在模拟和真实世界实验中，它的表现比从头开始的训练高出20%以上。

“在机器人技术领域，人们经常声称我们没有足够的训练数据。但在我看来，另一个大问题是数据来自如此多不同的领域、模式和机器人硬件。我们的工作展示了如何将所有这些结合起来训练机器人，”电气工程和计算机科学(EECS)研究生、该技术论文的主要作者LiruiWang说道。

王的合著者包括EECS研究生赵嘉良、Meta的研究科学家陈新蕾以及资深作者何开明(EECS副教授，计算机科学与人工智能实验室(CSAIL)成员)。这项研究将在12月10日至15日在温哥华会议中心举行的神经信息处理系统会议上发表。

受法学硕士启发

机器人“策略”采用传感器观测数据，例如摄像机图像或跟踪机械臂速度和位置的本体感受测量数据，然后告诉机器人如何移动以及移动到何处。

策略通常使用模仿学习进行训练，即人类演示动作或远程操作机器人来生成数据，这些数据被输入到学习策略的AI模型中。由于这种方法使用少量特定于任务的数据，因此当环境或任务发生变化时，机器人通常会失败。

为了开发更好的方法，王和他的合作者从GPT-4等大型语言模型中汲取了灵感。

这些模型使用大量不同的语言数据进行预训练，然后通过输入少量特定于任务的数据进行微调。对如此多的数据进行预训练有助于模型适应各种任务并表现出色。

“在语言领域，数据都是句子。在机器人领域，考虑到数据中的各种异质性，如果你想以类似的方式进行预训练，我们需要一种不同的架构，”他说。

机器人数据有多种形式，从相机图像到语言指令再到深度图。同时，每个机器人在机械上都是独一无二的，手臂、夹持器和传感器的数量和方向都不同。此外，收集数据的环境也千差万别。

麻省理工学院的研究人员开发了一种名为异构预训练变压器(HPT)的新架构，它将来自不同模态和领域的数据统一起来。

他们将一种称为转换器的机器学习模型置于架构的中心，该模型处理视觉和本体感受输入。转换器与构成大型语言模型主干的模型属于同一类型。

研究人员将视觉和本体感觉的数据对齐为同一类型的输入，称为token，以供转换器处理。每个输入都用相同固定数量的token表示。

然后，Transformer将所有输入映射到一个共享空间，随着它处理和学习更多数据，逐渐成长为一个巨大的预训练模型。Transformer越大，其性能越好。

用户只需向HPT提供少量有关机器人设计、设置和希望机器人执行的任务的数据。然后HPT会将预训练期间获得的知识传输到Transformer中以学习新任务。

实现灵巧的动作

开发HPT的最大挑战之一是构建海量数据集来预训练Transformer，该数据集包括四类52个数据集，超过200,000条机器人轨迹，包括人类演示视频和模拟。

研究人员还需要开发一种有效的方法，将来自一系列传感器的原始本体感受信号转换成变压器可以处理的数据。

“本体感受是实现许多灵巧动作的关键。由于我们的架构中的token数量始终相同，因此我们对本体感受和视觉的重视程度相同，”王解释道。

当他们测试HPT时，与每次从头开始训练相比，它在模拟和真实任务中将机器人的性能提高了20%以上。即使任务与预训练数据有很大不同，HPT仍然提高了性能。

“本文提供了一种在多个机器人实例中训练单一策略的新方法。这使得跨不同数据集进行训练成为可能，从而使机器人学习方法能够显著扩大它们可以训练的数据集的大小。它还允许模型快速适应新的机器人实例，这一点很重要，因为新的机器人设计不断涌现，”卡内基梅隆大学机器人研究所副教授DavidHeld表示，他没有参与这项工作。

未来，研究人员希望研究数据多样性如何提升HPT的性能。他们还希望增强HPT，使其能够像GPT-4和其他大型语言模型一样处理未标记的数据。

“我们的梦想是拥有一个通用的机器人大脑，你可以下载它并使用它，而无需任何训练。虽然我们才刚刚起步，但我们将继续努力，希望规模化能带来机器人策略方面的突破，就像大型语言模型一样，”他说。