上周，微软研究人员宣布了一个实验框架，将使用ChatGPT的语言能力来控制机器人和无人机。ChatGPT是OpenAI创建的一种流行的人工智能语言模型。使用自然语言命令，ChatGPT可以编写控制机器人运动的特殊代码。然后，人工查看结果并根据需要进行调整，直到任务成功完成。

这项研究发表在一篇题为《机器人的ChatGPT：设计原则和模型能力》的论文中，作者是微软自主系统和机器人小组的Sai Vemprala、Rogerio Bonatti、Arthur Bucker和Ashish Kapoor。

在一段演示视频中，微软展示了机器人（显然是由ChatGPT编写的代码控制，同时遵循人类的指示）使用机械臂将积木排列成微软标志，驾驶无人机检查货架上的内容，或者使用具有视觉功能的机器人寻找物体。

为了让ChatGPT与机器人交互，研究人员教了ChatGPT一个自定义的机器人API。当收到诸如“捡起球”这样的指令时，ChatGPT可以生成机器人控制代码，就像它会写一首诗或完成一篇文章一样。在人工检查和编辑代码以确保准确性和安全性之后，人类操作员可以执行任务并评估其性能。

通过这种方式，ChatGPT加速了机器人控制编程，但它还不是一个自主系统。研究人员在论文中写道：“我们强调，ChatGPT在机器人技术中的应用，并不是一个完全自动化的过程，而是作为一种增强人类能力的工具。”

上图：微软提供的图表，解释了ChatGPT for Robotics的工作原理。

虽然，大多数对ChatGPT的反馈（就其行动的成功或失败而言）都是以文本的形式来自人类，但研究人员也声称，在将视觉数据输入ChatGPT本身方面取也得了一些成功。在一个例子中，研究人员让ChatGPT命令机器人通过摄像头的反馈来捕捉篮球：“ChatGPT可以使用SVG代码来估计摄像机图像中球和天空的外观。这种行为暗示了一种可能性，即LLM跟踪的隐式世界模型超越了基于文本的概率。”

当然，目前的结果看起来是很初级的，但它们代表了将目前最热门的技术（大型语言模型）应用于机器人控制的早期尝试。根据微软的说法，ChatGPT界面可以在未来将机器人技术推向更广泛的受众。

微软研究院的一篇博客文章写道：“我们这项研究的目标是看看ChatGPT是否能超越文字思考，对物理世界进行推理，以帮助机器人完成任务。我们希望，帮助人们更容易地与机器人互动，而不需要学习复杂的编程语言或机器人系统的细节。”

如果朋友们喜欢，敬请关注“知新了了”！