探花 91 英伟达推出仅249好意思元的AI超等电脑 生成式AI性能提高达1.7倍
作家:赵雨荷探花 91
开始:硬 AI
英伟达周二推出了一款名为 Jetson Orin Nano Super 的生成式 AI 超等策画机。英伟达 CEO 黄仁勋暗意,这款拓荒者套件通过软件升级罢了了更高性能和更廉价钱,仅售 249 好意思元,尺寸工整,可放在手掌中,可将生成式 AI 性能提高高达 1.7 倍。
该公司暗意,这款居品符合买卖 AI 拓荒者、爱好者和学生,与其前代居品比拟,其生成式 AI 推感性能提高了 1.7 倍,性能提高了 70%,每秒不错实行高达 67 万亿次的 INT8 运算(67 INT8 TOPS),内存带宽也提高了 50%,达到了 102GB/s。
黄仁勋还挑升为这款居品录制了一段视频,如同 2021 年发布 Hopper H100 时相通,展现英伟达对这款居品的爱重。在视频中,黄仁勋暗意,从 Xavier 开动,英伟达就创造了一种新的处理器,也等于机器东说念主处理器,其时没东说念主知说念他们在作念什么。
新的 Jetson Orin Nano Super 领有快要 70 兆次的运算才略,功率 25 瓦,价钱 249 好意思元,不错实行 HGX 的悉数功能,以至是实行大言语模子。
他暗意,不管是创建基于检索增强生成(Retrieval-Augmented Generation, RAG)的大型言语模子(LLM)聊天机器东说念主,构建视觉 AI 代理,还是部署基于 AI 的机器东说念主,Jetson Orin Nano Super 皆是理思的选拔,这款套件皆能以更低的本钱提供宏大的运算遵守,主要由于居品复古低功耗遐想,能以 7 瓦到 25 瓦的功耗运行,符合各式角落建筑云算场景,不管是智能城市、智能农业还是机器东说念主拓荒。
捏续提高的性能和体验探花 91
通过软件更新,Jetson Orin Nano Super 也将为已有 Jetson Orin Nano 拓荒者套件的用户提高生成式 AI 性能。
黄仁勋暗意,Jetson Orin Nano Super 相配符合那些但愿在生成式 AI、机器东说念主时期或策画机视觉领域发展手段的东说念主士。在 AI 领域从任务专用模子向基础模子转机的趋势下,它也为拓荒者提供了一个将创意变为推行的易用平台。
为生成式 AI 提供强盛性能
Jetson Orin Nano Super 性能增强,为悉数流行的生成式 AI 模子,举例 Meta 的 LLaMA、阿里巴巴的通义千问以及谷歌的 Gemma。这款套件基于 Transformer 的策画机视觉模子带来了权臣提高,进一步提高遵守进展。
该公司暗意,拓荒者套件包括一个 Jetson Orin Nano 8GB 系统模块(SoM)和一个参考载板,为角落建筑 AI 期骗的原型遐想提供了理思平台。
系统模块选择 NVIDIA Ampere 架构 GPU,配备张量策画中枢(Tensor Cores)和 6 核 Arm CPU,约略处理多个并行 AI 期骗管说念,并提供高性能推理才略。此外,它还复古最多四个录像头,划分率和帧率均高于前代版块。
英伟达强调,跟着 AI 时期逐渐从云霄走向结尾,实体 AI 将是下一波发展重心,Jetson Orin Nano Super 不仅不错用于拓荒聊天机器东说念主,也符合简历视觉 AI 代理或部署 AI 机器东说念主等期骗。
等闲的生成式 AI 软件生态系统与社区
此外,英伟达 Jetson AI 实验室提供对最新开源社区模子的复古,以及易于使用的教程。拓荒者还不错从更等闲的 Jetson 社区获取复古,并从其他拓荒者的名堂中获取灵感。
Jetson 复古英伟达的 AI 软件,包括用于机器东说念主时期的 NVIDIA Isaac、用于视觉 AI 的 NVIDIA Metropolis 和用于传感器处理的 NVIDIA Holoscan。通过 NVIDIA Omniverse Replicator 生成合成数据,以及使用 NVIDIA TAO 器用包微调来自 NGC 目次的预检修 AI 模子,拓荒时辰不错大幅裁减。
Jetson 生态系统互助伙伴提供特别的 AI 和系统软件、拓荒器用以及定制软件拓荒工作。他们还提供与录像头偏激他传感器联系的复古,以及载板和居品科罚决策的遐想工作。
为悉数 Jetson Orin 用户解锁性能提高:Super 花样
英伟达也告示将为 Jetson Orin NX 和 Nano 系列的系统模块提供软件更新,让它们也能享受到 Super 花样的性能提高,最高可达 70%。这些更新将通过 Jetpack SDK 照顾器发布在英伟达网站和 GitHub 上。
Jetson Orin Nano Super Developer Kit 瞻望很快就和会过群众经销商开动供货。关于思要初学 AI 拓荒的学生、工程师或创客来说,这款拓荒套件提供了一个经济实惠且功能宏大的平台选拔。
英伟达将 Jetson Orin Nano Super Developer Kit 定位为股东生成式 AI 时期普及化的要津居品,但愿在智能交通、零卖照顾以及物联网(IoT)期骗中大放异彩。
本文来自微信公众号"硬 AI ",体恤更多 AI 前沿资讯请移步这里