英伟达推出249美元的「AI版的树莓派」,可离线运行大模型!

英伟达突发大招,249美元就能买到67 TOPS算力的AI开发套件!

你没看错,这个名叫Jetson Orin Nano Super Developer Kit的新玩意儿,性能直接比上代提升了70%!

这个小小的设备可能会让OpenAI和谷歌这样的科技巨头坐立不安!

为什么呢?

事情是这样的:目前,当你每次使用ChatGPT时,你的问题都要经过一个漫长的旅程——从你的设备发送到OpenAI的数据中心,经过处理后再返回给你。这种模式让几个科技巨头牢牢掌控着AI的发展方向。

据前Google员工、现Brava创始人Graham Cooke的分析,这些公司实际上控制着:

  • AI模型的能力边界

  • 谁能使用这项技术

  • 使用成本

  • 用户数据的命运

更令人担忧的是,Marc Andreessen在Joe Rogan节目上透露:拜登政府正考虑只对2-3家公司进行AI开发监管。这种做法与SBF曾经在加密货币领域尝试的监管方式如出一辙。

但NVIDIA显然不想让这种垄断继续下去。

于是Jetson Nano 来了!

Jetson Nano是什么神器?

简单来说,它就是一台专门为AI设计的迷你电脑,相当于一个「AI版的树莓派」。

最关键的是——它能在本地运行AI语言模型,不需要连接云端

而且,如果你已经有了老款,只需要一个软件升级就能获得这个超级加成!

这可谓是给AI开发者送了一个超级大礼包啊!

来看看这个「小超人」到底有多厉害。

硬核配置:麻雀虽小五脏俱全

这个小家伙可不简单

  • 搭载了Ampere架构GPU,拥有1024个CUDA核心和32个tensor核心

  • 配备了6核ARM Cortex-A78AE CPU

  • 8GB LPDDR5内存,带宽高达102GB/s

  • 支持SD卡和外部NVMe存储

  • 功耗范围在7W到25W之间

最让人惊喜的是,这套配置能跑出67 TOPS的AI性能,比前代提升了足足70%!

接口丰富:想怎么玩就怎么玩

作为一个开发套件,接口自然是越多越好。这个「小超人」在这方面简直是大放异彩

  • 2个MIPI CSI-2摄像头接口

  • 多个USB 3.2接口

  • PCIe扩展槽

  • 千兆以太网接口

  • DisplayPort 1.2接口

  • 各种开发必备的接口(UART、SPI、I2S、I2C、GPIO)

这么多接口,简直就是在说:「你想搞什么创新项目,我都奉陪到底!

软件生态:从入门到精通一站搞定

NVIDIA这次是真的大手笔,不只给硬件,还配备了全套软件支持:

  • Isaac:专门用于机器人开发

  • Metropolis:视觉AI开发利器

  • Holoscan:传感器数据处理专家

  • TAO Toolkit:模型微调神器

而且最强的是,如果你已经有了老款Jetson Orin Nano开发套件,只需要一个软件升级,就能获得这次的超级性能提升!

249美元就能让你在生成式AI、机器人开发、计算机视觉等领域大展拳脚。

看来英伟达这是要让AI开发变得人人都玩得起人人都能玩啊!

上图展示了多个语言模型在Jetson Orin Nano Super上的性能提升。

这意味着什么?

意味着我们正在进入「边缘计算」时代!

你的智能家居设备、汽车、手机都可能运行自己的AI模型。这带来了三个重大变革:

  • 数据隐私更有保障:你的数据不用再传到大公司的服务器上。

  • 运行更快更稳定:没有网络延迟,没有服务器宕机的烦恼。

  • 数据革命来临:OpenAI联合创始人Ilya Sutskever说,预训练AI的时代已经结束,未来的AI数据将来自边缘设备。这些数据包含真实的使用场景和人机交互信息,比静态的互联网数据更有价值。

战线已经划清:OpenAI和Google想要通过云端AI维持中心化控制,而英伟达则在推动分布式、民主化的AI发展。

不说了,我要去下单了!

相关链接

[1] 原文链接: https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/nano-super-developer-kit/?ncid=so-yout-121792-vt49

[2] 购买地址:https://developer.nvidia.com/buy-jetson?product=all&location=HK


(文:AGI Hunt)

欢迎分享

发表评论