三维感知模型与多模态信息融合[2024年机器人十大前沿技术]

1 三维感知模型与多模态信息融合将来自不同传感器和数据源的多种信息进行整合，可更多面、准确地理解环境的特征。融合信息涵盖图像、点云、声音等不同类型的数据。

2 多模态信息融合可克服单一传感器存在的局限性，提供更多面、鲁棒的信息，有助于在机器人导航、人机交互、环境监测、自动驾驶等取得更好性能；同时，面临传感器不一致性、数据同步、信息不完整等挑战。

3 三维感知模型与多模态信息融合与具身智能、垂直大模型的协同和融合，将进一步扩大机器人应用范围。

4 核心技术包括：结构光和立体视觉、三维物体检测和分割、多模态特征提取、融合模型设计等。