科企岛斯坦福大学和麻省理工学院研究的新型人工智能框架

　　为了执行困难的工业和家务任务，机器人必须能够建模和操纵弹塑性物品（例如，填充饺子，滚动寿司和制作陶器）。虽然面团和橡皮泥等高可塑性材料经常用于住宅和工业环境，但操纵它们给机器人带来了一系列特殊的困难。
　　软物体和可变形物体具有高自由度（DoF），不完全可观察性以及局部粒子之间的非线性相互作用。这些特性使得在机器人操作管道的几乎每一步都难以控制可变形对象，包括描述状态、模拟动力学和创建控制信号。
　　斯坦福大学和麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员最近进行的一项研究探索了使机器人能够基于未处理的RGD视觉数据建模和操作弹塑性物体的方法。在他们的论文＂RoboCraft：学习用Graph Networks查看，模拟和塑造Elasto-Plastic Objects＂中，他们证明了所提出的＂RoboCraft＂模型可以准确地预测机器人在捏合和释放Play-Doh以形成不同字母时的行为，甚至是以前从未见过的字母。双指抓手的性能与仅使用十分钟数据远程操作系统的人类同行相当，有时甚至更好。
　　在对未定义的平滑材料执行任何类型的高效且成功的建模或规划之前，必须考虑整个结构。此外，改变柔性结构的一部分也会影响其他部分。
　　一些早期的技术直接依赖于从高维感官数据中学习动力学模型。相比之下，其他人使用粒子来表示可变形的对象，并使用图形神经网络（GNN）来模拟它们的动力学。然而，这些模型是不够的，因为没有明确利用这些物品的结构。原始的感官数据无法提供如此强大的监测，这进一步限制了它们在实际应用中的实用性。
　　RoboCraft采用图神经网络作为动力学模型，能够通过将照片转换为微小粒子的图形并将其与算法耦合来更准确地预测材料将如何改变形状。RoboCraft使用视觉数据而不是复杂的物理模拟器，研究人员传统上利用它来模拟和理解应用于物体的力和动力学。
　　新框架由三个主要组件组成：
　　一个感知模块，通过从重建对象的网格中采样来构建对象的粒子表示
　　一种动力学模型，它使用 GNN 对粒子相互作用进行建模。动态模型直接从原始视觉数据中训练，使用损失函数评估预期和观察到的粒子分布之间的差异，这与过去基于学习的粒子动力学作品假设时间相关性相反。
　　应用模型预测控制（MPC）解决轨迹优化问题的规划模块。我们训练动力学模型。
　　该团队现在正致力于用面团和预制馅料制作饺子，此外还可以制作可爱的形式。
　　总体而言，RoboCraft表明，可以教预测模型以非常数据高效的方式计划运动。该团队认为，他们的系统可用于使用各种仪器操作材料，并能够帮助做家务和履行职责，这可能对老年人或行动不便的人特别有益。将来，他们计划帮助模型理解并完成长期规划任务，例如根据当前的工具，运动和动作预测面团将如何变形。
　　在对未定义的平滑材料执行任何类型的高效且成功的建模或规划之前，必须考虑整个结构。此外，改变柔性结构的一部分也会影响其他部分。