Open|Facebook宣布开源Droidlet机器人开发平台_Facebook宣布开源Droidlet

Facebook 于今日宣布开源旗下 Droidlet 机器人开发平台，特点是能够利用自然语言处理（NLP）和计算机视觉（CV）技术来感知周围世界。其宣称能够简化机器学习算法在机器人项目中的集成，并促进快速的软件原型设计。尽管当前机器人已能够通过编程来执行舞蹈等特定应用，但还是缺乏可在更深层次上处理信息的能力。

文章图片

Droidlet 项目 - GitHub 传送门
当然，Droidlet 并不是所有问题的万能解决方案，而是一种测试不同 NLP 和 CV 处理模型的方法。
其允许开发者构建能够在现实世界中、或《我的世界》和 Facebook 的 Habitat 等模拟环境里完成相关任务的系统。开发者可按需更换组件，来支持可在不同机器人上使用的相同系统。
此外 Droidlet 平台提供了一个仪表板，方便开发者添加调试与可视化小部件和相关工具，以及一个用于纠错和注释的界面。
除了用于测试针对机器人设置进行微调的视觉模型的环境之外，Droidlet 还附带了用于将机器学习模型连接到机器人的封包器。

文章图片

Droidlet 有一系列组件构成，其中某些为启发式的、另一些则是学习向的，开发者可在方便时调用静态数据、然后适当调用动态数据开展训练。其设计由以下几个模块到模块的接口组成：

● 一个存储系统，用于跨各种模块的信息存储。
● 一组能够处理来自外界信息、并将之存储与内存中的感知模块。
● 可让机器人适应环境变化的一组较低级别的任务支持，比如‘向前移动三英尺’和‘将物品放在给定坐标处’ 。
● 一个控制器，可决定执行哪些基于存储系统状态的任务。

文章图片

Facebook 指出，这些模块中的每一个，都可进一步分解为可训练或启发式的组件，且相关模块与仪表板支持在 Droidlet 之外的生态系统中使用。
对于研究人员和爱好者，Droidlet 还提供了对“内置电池”系统的支持，可通过预训练的物体检测和姿态预估模型来感知环境，并将观察结果存储在机器人的内存中。
【Open|Facebook宣布开源Droidlet机器人开发平台】通过这种表示，系统可响应诸如“前往红椅子处”之类的语音命令，利用预训练的神经语义解析器，将自然语言转换为可由机器人执行的程序。