作者 | zer0
编辑 | 漠影
芯东西10月20**道，nvidia本周宣布对适用于边缘ai和机器人的nvidia jetson平台上的两个框架metropolis和isaac进行有史以来规模最大的软件扩展。nvidia isaac ros机器人框架已全面上市，nvidia metropolis在jetson平台上的扩展也即将推出。
生成式ai具有的“零样本学习”能力和自然语言界面，能够简化边缘ai的开发、部署与管理。nvidia创建了一个jetson生成式ai实验室，以供开发者利用最新的开源生成式ai模型进行开发，从而加速边缘ai应用的开发与部署。
目前，已有超过120万名开发者和1万多家客户选择了nvidia ai和jetson平台，包括亚马逊云科技（aws）、思科、约翰迪尔、美敦力、百事、西门子等。
开发者在构建边缘ai应用时，面临着开发周期延长的挑战，为了实时满足客户不断变化的环境、生产线和自动化需求，需要反复对机器人和ai系统进行编程。这个过程非常耗时，还要求开发者具备足够的专业技能，而生成式ai正发挥助力。
生成式ai通过理解人类的语言提示，对模型进行更改，极大提高了易用性。这些ai模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，并借此超越了基于卷积神经网络（cnn）的传统模型。据abi research**，到2023年，生成式ai将为全球制造业务增收105亿美元。
nvidia嵌入式和边缘计算副总裁deepu talla相信，生成式ai具有前所未有的泛用性、易用性和精确性，将显著加快边缘ai的部署。
对此，nvidia在jetson平台上对metropolis和isaac框架进行了有史以来规模最大的软件扩展，并结合transformer模型与生成式ai的强大功能来满足这一需求。
nvidia jetson生成式ai实验室为jetson开发者提供经过优化的工具和教程，用以部署开源大语言模型（llm）、文生图的扩散模型、视觉语言模型（vlm）以及视觉transformer（vit）。
开发者还可以使用nvidia tao toolkit，为边缘应用创建高效而精确的ai模型。tao提供了一个用于微调和优化vit、视觉基础模型等视觉ai模型的低**接口，并支持定制、微调nvidia nv-dinov2等基础模型或openclip等公共模型，用很少的数据创建高度精确的视觉ai模型，还推出了一个基于transformer的新型缺陷检测模型visualchangenet。
nvidia metropolis提供了一系列功能强大的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用，从而能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉ai解决方案，以改善至关重要的运营效率和安全问题。
宝马集团、百事、克罗格、泰森食品、印孚瑟斯、西门子等1000多家公司正在使用nvidia metropolis开发者工具，通过视觉ai来解决物联网（iot）、传感器处理和运营方面的难题。该开发者工具已被希望构建视觉ai应用的用户**了100多万次。
nvidia jetson平台上的metropolis api和微服务扩展集将在年底前推出，帮助开发者快速构建和部署可扩展的视觉ai应用程序。数百家客户使用nvidia isaac平台，在农业、仓储自动化、最后一公里配送、服务机器人等多个领域开发了高性能机器人解决方案。
在roscon 2023上，nvidia宣布推出isaac ros和isaac sim软件的全新版本，对感知和模拟功能进行了重大改进，以简化ros开发者对高性能ai机器人应用的构建与测试。
开源机器人操作系统（ros）在不断发展进化，并为整个机器人社区提供开源软件。基于常用ros的 isaac ros，为移动的物体带来了“视觉”和“听觉”感知能力。借助gpu加速的gem的视觉里程测量、深度知觉、3d场景重建、定位和规划等功能，机器人开发者可以获取为不同应用快速定制机器人解决方案所需的各种工具。
开源机器人**会首席技术官geoff biggs认为，nvidia此次版本中全新预构建的ros 2软件包，将助力广大nvidia jetson开发者社区随时使用ros 2。
isaac ros 2.0最新版本已达到生产就绪状态，主要的优化升级包括原生ros 2 humble支持、nitros ros桥接器、cuda nitros、stereolabs zed摄像机集成、nova carter、ess 3.0性能等可帮助开发者使用jetson平台创建并推出高性能机器人解决方案。
开发生产级ai解决方案，需要开发和训练针对特定用例定制的ai模型，在平台上实现强大的安全功能、编排应用、管理机队、建立边缘到云的无缝通信等。
随着应用需求的日益复杂化，我们需要从根本上转向能够简化和加速边缘部署创建的平台。”tirias research首席分析师jim mcgregor谈道。
nvidia则推出了一套基于metropolis和isaac框架的精选ai工作流参考，帮助开发者快速采用整个工作流或有选择性地集成独立部分，大幅减少开发时间和成本。三个ai工作流包括：网络**录制、自动光学检测和自主移动机器人。
jim mcgregor评价说：“nvidia的这一重要软件扩展为开发者带来了全新的多传感器模型和生成式ai功能。”
总体来看，nvidia新推出一系列系统服务，为开发者提供了边缘ai解决方案时所需的基本功能，从而简化与工作流的集成，提高效率。
全新nvidia jetpack 6将于今年年底推出。ai开发者将无需全面升级jetson linux，就能保持在计算领域的最前沿，大幅加快开发进度。jetpack 6还将通过与linux发行版合作伙伴的合作，扩大基于linux的发行版的选择范围，包括canonical的优化及经过验证的ubuntu、wind river linux、并行实时redhawk linux以及各种基于yocto的发行版。
作为nvidia合作伙伴网络中的一部分，jetson合作伙伴生态系统提供了从硬件、ai软件和应用设计服务到传感器、连接和开发者工具的广泛支持。最新版本通过采用更多具有更强性能与功能的ai技术，帮助jetson合作伙伴加快产品上市并扩大客户群。拥有广泛而多样化的用户群与合作伙伴生态的nvidia jetson，已经成为助推边缘机器人和ai革命的关键力量之一。
UiPath 一家由生成式AI驱动的流程自动化软件公司
总结 uipath path 的股价并没有因为生成式ai的炒作而 但很可能会成为主要受益者。 即使在严峻的宏观环境下，uipath的收入还在不断增长和利润率也在不断扩大。 猛兽财经预计预计生成式ai将在未来几年继续推动uipath的收入增长。虽然uipath是那种可能因生成式ai炒作而股价 的 但事...
生成式AI一小步，营销界变了天
广告让人既爱又恨。当自己的朋友圈广告 现梵克雅宝 劳斯莱斯 爱马仕时，买不买得起不重要，重要的是被 选中 从而拥有跳入社交场 在评论区接力一场虚幻狂欢的资格。但当担心失业的中年人刷到五星级养老社区的信息流推荐 月光族年轻人被 临湖别墅 或者 家长你好 开头的课程找上门时，画风就没那么和谐了。现代营销...
生成式AI有多强 这家刚跻身美国财富500强的SaaS巨头告诉你
百万创作者计划 曾经以业绩快速增长名噪一时的业务流程saas服务提供商servicenow，这段时间格外引人注目。这一次这个于今年月刚刚跻身美国财富强的servicenow之所以抢眼，是因为sercicenow扛着生成式ai大旗，伴随着明确的战略，完美的合作行动，以及喜人的业绩，一路狂奔 因为尚未进...