NVIDIA 技术博客:借助 NVIDIA Isaac 平台上的高级模拟和感知工具加速 AI 机器人开发

nvdev 2024-01-02 15:12:55

这篇文章最初发表在 NVIDIA 技术博客上。有关此类的更多内容,请参阅最新的 机器人 新闻和教程。

NVIDIA 于今日在 ROSCon 2023 发布了对 NVIDIA Isaac Robotics 平台的重大更新。该平台为全球机器人开发者提供高性能感知和高保真模拟。这些更新包括 NVIDIA Isaac ROS 2.0NVIDIA Isaac Sim 2023.1,以及感知和模拟升级,可为 ROS 开发者简化基于 AI 的高性能机器人应用的构建和测试。

“ROS 不断发展壮大,为整个机器人开发社区提供开源软件。” Open Source Robotics Foundation 表示,“新的 NVIDIA 预构建 ROS 2 软件包在此版本中推出,将使 ROS 2 随时可供广大用户使用,从而加速 NVIDIA Jetson 开发者社区的增长。”

Four industrial images (Train, Simulate, Build, Deploy + Manage) and graphic representing software architecture.
图 1. NVIDIA Isaac 机器人平台是在机器人领域实现 AI 的一系列技术

Isaac ROS 2.0

随着机器人向更高级别的自主性发展,以及各种传感器技术的不断扩散,CPU 受限处理的限制变得显而易见。加速计算已成为克服这些瓶颈的自然解决方案。

Isaac ROS 为 ROS 社区带来了急需的加速计算能力,使新一代机器人解决方案的开发成为可能。除了提供一系列加速 ROS 软件包外,NVIDIA 还与 Open Robotics 合作以提高中间件本身的效率。如需了解详情,请参阅 NVIDIA Isaac Transport for ROS 提升 ROS 2 应用的感知性能

Isaac ROS 2.0 的发布实现了生产级质量就绪。重大改进包括:

  • 原生 ROS 2 Humble 支持: NVIDIA 将在 Ubuntu 20.04 上托管适用于 JetPack 5 的安装就绪型 ROS 2 Humble 软件包,无需编译源代码。
  • NITROS ROS 桥接器:与标准 ROS 桥接器相比,此优化的 ROS 桥接器可将速度提升 2 倍,从而将 Isaac ROS 加速扩展到 ROS Noetic 应用程序。
  • CUDA NITROS:支持开发者将自己的 DNN 模型与自定义编码器和解码器结合使用,并利用 NITROS 的加速功能。
  • Stereolabs ZED 摄像头集成:Isaac ROS 现已与 Stereolabs ZED 摄像头实现集成。
  • Nova Carter:Isaac ROS 软件(包括 Nav 2 导航堆栈)现已支持 Nova Carter,这是一款由 NVIDIA 提供支持的机器人研发参考 AMR,搭载 NVIDIA Jetson AGX Orin
  • ESS 3.0 性能:新的 ESS 3.0 深度感知 DNN 模型提升了准确性和性能。

世界各地的开发者将 Isaac ROS 用于农业、仓库自动化、最后一英里配送和服务机器人等不同领域的高性能机器人解决方案。

Twelve images in 4x3 matrix representing various software modules within NVIDIA Isaac ROS.
图 2. NVIDIA Isaac ROS 中的软件模块( NVIDIA Isaac 机器人平台的关键组件)

“正是 NVIDIA 产品的广度使其非常适合 FarmX,” FarmX 机器人副总裁 Dan Hennage 说。”从 Isaac ROS 的操作环境和库,到允许我们在无人机和大型拖拉机等车辆上部署的各种模块,NVIDIA Jetson 和 Isaac ROS 使我们能够专注于开发应用程序,而无需担心平台。”

.lumen 的首席执行官兼创始人 Cornel Amariei 表示:“我们打造的是最先进的盲辅助技术,将自动驾驶缩小到人们可以舒适地戴在头上的程度。之所以能够做到这一点,是因为 NVIDIA Jetson 平台以及 Isaac ROS 中经过优化的软件包、节点和功能。从 vSLAM 到立体感知,没有其他平台能让我们做到这一点。”

Isaac Sim 2023.1

越来越多的机器人采用 AI 将加速各行各业(从制造到物流再到汽车)的自动化。开发和测试用于机器人感知或控制的 AI 模型的人面临的挑战通常是数据稀缺。高保真模拟是解决这一稀缺问题的关键技术。

基于 NVIDIA Omniverse,Isaac Sim 是一款机器人模拟器,用于开发、训练、测试和部署支持 AI 的机器人。强大的内置功能包括 NVIDIA Omniverse Replicator 用于生成合成数据,以及 Isaac Gym 用于 GPU 加速的强化学习。借助最新版本的 Omniverse Replicator 1.10,开发者可以使用低代码、基于 YAML 的配置器和异步渲染来 提升合成数据的生成

Isaac Sim 还包含适用于当今大多数热门传感器的精确传感器仿真。它支持 ROS 和 ROS 2,此外还可以通过 Python 脚本进行控制。

Isaac Sim 2023.1 的发布为推进基于 AI 的机器人提供了许多新功能和改进,包括:

  • 新的内置机器人模型和传感器:快速开始使用内置机器人模型和传感器。新的机器人模型包括 FANUC 和 Techman。新的传感器包括 OrbbecSENSINGZvision、Ouster 和 RealSense。
  • 改进了对 ROS 和 ROS 2 的支持:现在您可以创建自定义的 ROS 和 ROS 2 消息来支持您的仿真应用。URDF/MJCF 导入器已经开源,这将在您将机器人导入 Isaac Sim 时提供更多功能。
  • 增强的合成数据生成 (SDG) 支持:为机械手和移动机器人应用添加仿真中的随机化。详细了解由最新版本的 Omniverse Replicator 支持的新 SDG 功能。
  • 模块化 3D 资产的仓库组装商:使用 SimReady 仓库场景和资产,快速创建极具吸引力的仓库环境,以测试和实施机器人解决方案。

许多公司都在遵循模拟优先的方法开发机器人和自动化解决方案。这需要在构建解决方案之前进行高保真模拟,以验证设计和吞吐量。

“在协作机器人技术中,我们坚信,机器人的未来需要协作机器人与人类一起工作。”技术战略副总裁 Jon Battles 说,“我们采用了一种模拟优先的开发方法,广泛使用 Isaac Sim 来加快开发和部署时间。”

RIOS 工程副总裁 Chris Paulson 表示:“RIOS 对于 NVIDIA Isaac Sim 在设计、测试和实施未来智能工厂的先进 AI 机器人即服务 (RaaS) 工作单元方面的重要性。Isaac Sim 是降低项目风险、降低新工作单元设计风险和简化复杂机器人任务执行开发的关键平台。我们的内部面向客户的工具也利用 Isaac Sim 作为平台,快速高效地为客户提供先进的机器人。”

Image of three robot arms in an industrial warehouse setting.
图 3. NVIDIA Isaac Sim 2023.1 的新内置机器人模型包括 FANUC Robot Arm (左)、Fraunhofer EvoBOT (中)和 Techman Cobot (右)

NVIDIA Isaac Robotics 平台的设计初衷是推动 AI 在机器人领域的发展。Isaac ROS 的更新将使 ROS 开发者更容易利用 NVIDIA AI 感知。Isaac Sim 具备新功能,可在虚拟世界中轻松开发、测试和训练 AI 机器人,然后再将其部署到现实世界。加入使用 NVIDIA Isaac ROS 和 Isaac Sim 的数千名开发者的行列。

如需了解更多详情,请注册参加即将举办的 Isaac ROS 网络研讨会Need for Noetic Speed: Bringing NITROS to ROS。同时,欢迎加入NVIDIA 在 ROSCon 2023,了解最新公告、演示、竞赛和合作伙伴新闻。您还可以查看 NVIDIA 的演讲嘉宾和小组成员在RoboBusiness 2023的演讲。

 

阅读原文

...全文
133 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,207

社区成员

发帖
与我相关
我的任务
社区描述
NVIDIA 开发者技术交流
人工智能 企业社区
社区管理员
  • nvdev
  • 活动通知
  • AI_CUDA_Training
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧