英伟达发布通用人形机器人基础多模态模型Project GR00T
近日，在英伟达公司（NVIDIA）举办的GTC 2024年大会上，英伟达公司发布了全新的通用人形（类人）机器人基础模型Project GR00T。这款新模型旨在将机器人技术和嵌入式人工智能进行结合，同时使机器人能够理解自然语言，并通过观察人类行为来进行动作模仿。
Project GR00T训练模型
GR00T是英文“Generalist Robot 00 Technology”的含义。GR00T是一个大型多模态模型，为机器人开发人员提供了一个生成式人工智能平台。英伟达公司的首席执行官黄仁勋在大会上表示，为通用人形机器人打造基础模型是当今人工智能领域最令人兴奋的问题之一。全球各地优秀的机器人专家正在汇集各种技术，以使在通用机器人智能领域取得巨大飞跃。
此外，作为通用人形（类人）机器人基础模型Project GR00T发布的一部分，英伟达公司还发布了基于其NVIDIA Thor系统级芯片（SoC）的新型人形机器人计算机Jetson Thor。以及对其机器人平台NVIDIA Isaac的升级，这些升级包括生成式AI基础模型和仿真工具，以及AI工作流基础设施等。
Jetson Thor是一个全新的计算平台，能够执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。该SoC包括一个带有transformer engine的下一代GPU，采用NVIDIA Blackwell架构，可以提供每秒800万亿次8位浮点运算AI性能，以运行GR00T等多模态生成式AI模型。
英伟达公司也展示了正在使用其技术开发人形机器人的公司，这些公司包括1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics和XPENG Robotics。
Agility Robotics的联合创始人Jonathan Hurst表示，我们正处于历史的转折点，像Digit这样以人为中心的机器人将永远改变劳动力市场格局。人工智能将加速发展，为像Digit这样的机器人在日常生活的各个方面为人们铺平道路。我们很高兴能与英伟达合作，在计算、模拟工具、机器学习环境和其他必要的基础设施上进行投资，以实现人形机器人成为人们日常生活一部分的梦想。
Agility Robotics的Digit人形机器人
根据英伟达公司的说法，GR00T使用的Isaac工具能够为任何环境中的任何机器人创建新的基础模型。这些工具中包括用于强化学习的Isaac Lab和OSMO（一种计算编排服务）。
由于嵌入式人工智能模型需要大量的真实和合成数据。新的Isaac Lab是一个GPU加速、轻量级、性能优化的应用程序，建立在Isaac Sim上，用于运行数千个并行模拟机器人学习。
为了跨异构计算扩展机器人开发工作负载，OSMO协调跨分布式环境的数据生成、模型训练和软件/硬件在环（software/hardware-in-the-loop）工作流。
英伟达还发布了Isaac Manipulator和Isaac Perceptor，这是一个机器人预训练模型、库和参考硬件的集合。
Isaac Manipulator为机械臂提供灵活和模块化的人工智能功能，具有强大的基础模型和GPU加速库集合。英伟达公司表示，Isaac Manipulator可以将路径规划速度提高80倍，zero-shot感知可以提高效率和吞吐量，使开发人员能够自动执行更多新的机器人任务。
Isaac Perceptor则提供多摄像头、3D环绕视觉功能，这些功能越来越多地用于制造业中采用的自主移动机器人，以提高效率和工人的安全性。
模拟优先（Simulation First）的方法正在引领自动化的下一个阶段。在制造业、工厂物流和机器人领域，实时人工智能已经成为现实。这些环境很复杂，通常涉及数百或数千个活动部件。到目前为止，模拟所有这些活动部件是一项艰巨的任务。
英伟达公司将Omniverse、Metropolis、Isaac和cuOpt等软件进行结合，创建了AI gym，以让机器人和人工智能代理（AI Agent）可以在复杂的工业空间中进行训练和评估。
黄仁勋展示了一个10万平方英尺的数字孪生，使用了NVIDIA Omniverse平台构建，用于开发和连接OpenUSD应用程序，该数字孪生可以供数十个工作人员和多个搬运机器人、视觉AI代理和传感器的模拟环境运行。
每个运行NVIDIA Isaac Perceptor多传感器堆栈的移动机器人，可以处理来自六个传感器的视觉信息，所有这些都在数字孪生体中进行模拟。
上图展示了AMR机器人和Manipulator在由NVIDIA Isaac提供支持的仓库中实现基于AI的自动化和协作
与此同时，NVIDIA Metropolis视觉人工智能平台可以在整个仓库中创建一个单一的工人活动地图，将来自100个模拟天花板安装的摄像机流的数据与多摄像机跟踪融合在一起。这可以帮助NVIDIA cuOpt引擎计算最佳AMR路线，以解决复杂的路由问题。
cuOpt是一种优化AI服务，使用GPU加速进化算法解决具有多个约束的复杂路由问题。所有这些都是实时发生的，而Isaac任务控制中心使用cuOpt的地图数据和路线图来协调整个机器人队伍，以发送和执行AMR命令。
延伸阅读：
- 斯坦福大学和Google DeepMind联合发布RT-Sketch模型，用草图作为机器人系统的输入指令
- 海外媒体报道，亚马逊产业基金将加大对结合AI和机器人的创新项目的投资
- 人工智能人形机器人公司1X融资1亿美元，曾获OpenAI投资
- 加州大学伯克利分校发布多功能控制系统，利用生成式AI让人形机器人更好地适应未知环境
- 当人工智能结合工业机器人，英伟达旗下投资部门领投Machina Labs最新的3200万美元融资
Powered by Froala Editor
