“你穿个马甲我就不认识你了？”如何让AI操作可形变物体
2021-08-06 21:55:01 作者：佚名
识别和处理变形物体是人类日常生活中不可或缺的一部分，如叠衣服、处理食材等简单任务都会涉及到。 然而这对AI来说却并不简单。小品里“小样，你穿个马甲我就不认识你了？”对AI来说，还真不是一个笑话。认识是同一物体之后，还得能够操作。
近日，来自瑞典皇家理工学院的研究团队在《科学》（Sience）子刊上发表了题为《可变形物体操纵的建模、学习、感知和控制方法》的论文，研究团队调查了这一领域的100多项相关研究，采用学习视角来整合对分析方法和数据驱动方法的讨论，探索如何解决在感知和操纵各种可变形对象中使用和集成模型先验和任务数据的问题。
研究者认为，数据驱动方法的最新进展，以及经典的控制和规划，可以为这些开放的挑战提供可行的解决方案。此外，随着更好的模拟环境开发，可以允许对各种方法进行基准测试，更好地理解需要进行哪些理论开发，以及如何实施和评估实际系统，以提供灵活、可扩展和具有鲁棒性（robust）的解决方案。
尽管AI对可变形物体的操作很重要，但由于与之相关的建模、感知和控制的整体复杂性，相对于刚性物体的操作，此前人们上对可变形物体的机器人操作的研究较少。计算机图形学和机器学习的最新进展提供了有价值的建模技术和数据驱动范式，可以帮助克服传统方法在变形对象操作中的一些限制。
最近关于物体抓取和操作的调查发现，与变形物体的物理交互是机器人领域中一个重要的开放问题。它进一步证明了学习和数据驱动的方法为机器人在可变形物体操作方面具有更先进的能力铺平了道路。
文章从“基于物理的可变形对象建模”开始，具体详举了质量-弹簧系统、基于位置的动力学、连续介质力学以及基于物理的仿真器。
可变形物体的建模和模拟动力学通常依赖于使用粒子或网格的几何表示。
质量-弹簧系统(MSSs)将可变形材料作为一个网络模型。质量分配给每个单独的顶点，顶点与弹簧边相互连接。
基于位置的动力学(PBD)是一种无网格方法，建模材料作为一个离散系统的粒子。
连续介质力学为连续域中的材料变形建模提供了更精确的物理描述。
在基于物理的建模方面，作者例举了Simulation Open Framework Architecture（SOFA）、PhysX、MuJoCo。
Simulation Open Framework Architecture（SOFA）是一个开源框架，专为组织模式开发用于组织建模和手术干预。它采用模块化设计，为不同的机械对象、约束和碰撞几何图形提供定制的解算器。SOFA提供内置质量弹簧模型。它还包括各种FEM模型，例如线性、共旋线性和新胡克模型，用于医学应用中的精度。该框架已用于运动规划、跟踪可变形物体和基于视觉的尖端力估计。
PhysX是NVIDIA的开源产品，用于游戏引擎。它的特点是基于PBD的布料建模，允许模拟刚性和布状物品，而不需要如中那样桥接不同的模拟器。随着对摩擦接触处理的扩展，PhysX已被用于人类着装中的各种任务，例如触觉和力预测，它也被用作规划穿衣运动的正向动力学模型。
MuJoCo具有凸软接触模型，因此允许具有较高收敛速度的优化方法。由于该模拟器最初以关节型机器人的建模为目标，因此它为加速机器人建模和学习算法提供了有用的接口。其变形动力学建模已被Bullet是一个用于碰撞检测和多体模拟的开源库。它建立在PBD的基础上，以模拟可变形物体及其与其他世界实体的相互作用。
第二部分是感知（Perception）。可变形物体的控制和操作依赖于使用视觉、力、触觉和距离感知的丰富和鲁棒的感知。作者列举了基于模版的方法，如几何模型、基于物理的模型、参数识别以及基于特定应用的表示等。
在数据驱动方法中，动态模型不是先验定义的，而是学习的，它通常被公式化为监督学习问题. 这些方法涉及模型预测的可靠性，借助定制特征、压缩表示和模型架构先验进行学习。作者例举了可变形对象交互的控制策略、模仿学习、强化学习。
第三部分关于操纵（Manipulation）。由于建模和仿真技术的进步，可变形物体操作的规划已经从使用特定任务的几何图形，如2D形状轮廓，转移到使用一般物理模型。
关于可变形物体的建模、感知和控制的工作仍处于初级阶段，但最近大量的工作证明了它的重要性。根据高维状态空间和可变形材料的复杂动力学，研究者确定了可变形物体操纵的主要挑战。仿真技术的进步也使得状态估计和运动规划等各种应用成为可能。更重要的是基于学习的方法的兴起证明了它们作为补充范式的灵活性和有效性。最近的趋势开始融合这两种范式，用数据补偿建模不足的方面，或者用模型先验促进学习性能。先验可以类似于作为结构的分析模型，或者通过模拟器提供任务数据。(本文来自澎湃新闻，更多原创资讯请下载“澎湃新闻”APP)
近日，来自瑞典皇家理工学院的研究团队在《科学》（Sience）子刊上发表了题为《可变形物体操纵的建模、学习、感知和控制方法》的论文，研究团队调查了这一领域的100多项相关研究，采用学习视角来整合对分析方法和数据驱动方法的讨论，探索如何解决在感知和操纵各种可变形对象中使用和集成模型先验和任务数据的问题。
研究者认为，数据驱动方法的最新进展，以及经典的控制和规划，可以为这些开放的挑战提供可行的解决方案。此外，随着更好的模拟环境开发，可以允许对各种方法进行基准测试，更好地理解需要进行哪些理论开发，以及如何实施和评估实际系统，以提供灵活、可扩展和具有鲁棒性（robust）的解决方案。
尽管AI对可变形物体的操作很重要，但由于与之相关的建模、感知和控制的整体复杂性，相对于刚性物体的操作，此前人们上对可变形物体的机器人操作的研究较少。计算机图形学和机器学习的最新进展提供了有价值的建模技术和数据驱动范式，可以帮助克服传统方法在变形对象操作中的一些限制。
最近关于物体抓取和操作的调查发现，与变形物体的物理交互是机器人领域中一个重要的开放问题。它进一步证明了学习和数据驱动的方法为机器人在可变形物体操作方面具有更先进的能力铺平了道路。
文章从“基于物理的可变形对象建模”开始，具体详举了质量-弹簧系统、基于位置的动力学、连续介质力学以及基于物理的仿真器。
可变形物体的建模和模拟动力学通常依赖于使用粒子或网格的几何表示。
质量-弹簧系统(MSSs)将可变形材料作为一个网络模型。质量分配给每个单独的顶点，顶点与弹簧边相互连接。
基于位置的动力学(PBD)是一种无网格方法，建模材料作为一个离散系统的粒子。
连续介质力学为连续域中的材料变形建模提供了更精确的物理描述。
在基于物理的建模方面，作者例举了Simulation Open Framework Architecture（SOFA）、PhysX、MuJoCo。
Simulation Open Framework Architecture（SOFA）是一个开源框架，专为组织模式开发用于组织建模和手术干预。它采用模块化设计，为不同的机械对象、约束和碰撞几何图形提供定制的解算器。SOFA提供内置质量弹簧模型。它还包括各种FEM模型，例如线性、共旋线性和新胡克模型，用于医学应用中的精度。该框架已用于运动规划、跟踪可变形物体和基于视觉的尖端力估计。
PhysX是NVIDIA的开源产品，用于游戏引擎。它的特点是基于PBD的布料建模，允许模拟刚性和布状物品，而不需要如中那样桥接不同的模拟器。随着对摩擦接触处理的扩展，PhysX已被用于人类着装中的各种任务，例如触觉和力预测，它也被用作规划穿衣运动的正向动力学模型。
MuJoCo具有凸软接触模型，因此允许具有较高收敛速度的优化方法。由于该模拟器最初以关节型机器人的建模为目标，因此它为加速机器人建模和学习算法提供了有用的接口。其变形动力学建模已被Bullet是一个用于碰撞检测和多体模拟的开源库。它建立在PBD的基础上，以模拟可变形物体及其与其他世界实体的相互作用。
第二部分是感知（Perception）。可变形物体的控制和操作依赖于使用视觉、力、触觉和距离感知的丰富和鲁棒的感知。作者列举了基于模版的方法，如几何模型、基于物理的模型、参数识别以及基于特定应用的表示等。
在数据驱动方法中，动态模型不是先验定义的，而是学习的，它通常被公式化为监督学习问题. 这些方法涉及模型预测的可靠性，借助定制特征、压缩表示和模型架构先验进行学习。作者例举了可变形对象交互的控制策略、模仿学习、强化学习。
第三部分关于操纵（Manipulation）。由于建模和仿真技术的进步，可变形物体操作的规划已经从使用特定任务的几何图形，如2D形状轮廓，转移到使用一般物理模型。
关于可变形物体的建模、感知和控制的工作仍处于初级阶段，但最近大量的工作证明了它的重要性。根据高维状态空间和可变形材料的复杂动力学，研究者确定了可变形物体操纵的主要挑战。仿真技术的进步也使得状态估计和运动规划等各种应用成为可能。更重要的是基于学习的方法的兴起证明了它们作为补充范式的灵活性和有效性。最近的趋势开始融合这两种范式，用数据补偿建模不足的方面，或者用模型先验促进学习性能。先验可以类似于作为结构的分析模型，或者通过模拟器提供任务数据。(本文来自澎湃新闻，更多原创资讯请下载“澎湃新闻”APP)
