机器人示教学习:高级技能学习方法（学习计划和学习目标）

需要注意的是，有时选择的示教方法和获取的数据类型与学习算法的选择有关。一方面来自多个模态的示范增加了维数，增加了学习的复杂性。数据的维数可以降低，但是有些信息被忽略，导致从示教数据中学习不当。另一方面，缺少传感模态可能会在一开始就提供不完整的信息，导致学习算法表现不理想。

高级技能可以认为是一组低级技能或一组动作基元。除此之外，高级技能还包括对象可视性，涉及构建物理世界对象和机器人动作之间关系的知识。高级技能学习方法可以大致分为学习计划和学习目标。

1）学习计划:在这种高级技能的学习方法中，学习计划为从初始状态到终状态的一系列动作。因此，动作是根据前置条件和后置条件定义的。前置条件为动作执行前的状态，后置条件为动作执行后的状态。除此之外，人类教师还用注释的形式提供附加信息。注释可以通过触觉、视觉或语义来提供。额外的信息允许更好地概括高水平的技能。可执行的动作可以是简单的低级技能，如抓住目标对象，拾起绿色的对象等，组合起来形成一个高级任务，如排序绿色的对象。另一方面，有一些方法可以通过在示教数据中寻找重复的结构来从高级技能示教中提取低级技能，这样就可以在不同的示教中识别它。在[2]中，一个示教学习范例是通过人类示教和在程序界面输入的用户目的来描述的。在[18]中，一些涉及一系列顺序旋转和转换的日常对象操作的示教被用来提取顺序的低级技能，并进一步构建一个计划。这项工作还示教了从一个对象到其他类似对象的学习知识转移。

2）学习目标:推断高级技能的目标。人类教师提供的示教被用来推断执行高级技能的意图。通过生成假设，可以从重复的示教中推断出目标。现代方法也使用基于奖励函数的强化学习方法来实现期望目标。如果奖励函数是从给定的示教中学习的，那么它就被认为是目标学习。一些基于强化学习的方法得到了很好的研究[19]。

3、讨论总结

技能的学习直接依赖于示教的准确性。大多数方法[20]手动消除了部分示教中的噪声。结合强化学习，在奖励和探索机制的基础上对技能学习进行改进。另一种改进技能的方法涉及示教者反馈[21]。当机器人在一个稍微不熟悉的情况下执行学习到的技能时，从人类教师那里得到关于执行技能可取性的反馈。目前为了实现这种技能细化的方法，研究人员主要从两个方面进行了研究：（1）控制机器人和人类教师之间的信息交互，（2）提供反馈。