AWS发布用于云和AI的下一代Graviton4和Trainium2芯片

2023-11-29 13:30:02 字數 1527 閱讀 6037

今天 ,aws在aws re:invent大会推出两款新一代自研芯片,用于通用云计算和高效ai训练,分别是gr**iton4 和 trainium2。

aws使用基于arm的gr**iton系列处理器为客户提供高性能并降低成本,以处理amazon elastic compute cloud(ec2)中的各种云计算工作负载。据amazon称,与当前的gr**iton3这一代处理器相比,gr**iton4的计算能力提高了30%,核心数量增加了50%,内存带宽增加了75%。

aws计算和网络副总裁d**id brown表示:“gr**iton4标志着我们在短短五年内推出的***芯片,是我们为各种工作负载打造的最强大的、最节能的芯片。芯片支撑着每个客户工作负载,这是aws创新的一个关键领域。”

amazon自2023年以来一直在使用gr**iton1构建自己的定制芯片,为a1 ec2实例提供动力。每一代gr**iton都带来了更高的性能、效率和更低的成本。2023年,brown曾表示,gr**iton的上市为aws生态系统带来了重大增长,因为客户看到工作负载立即就得到了改善。

截至目前,aws在全球提供超过150种不同的、支持gr**iton的amazon ec2实例,并且已经部署了超过200万个gr**iton处理器。

aws最新的内存优化型amazon ec2 r8g实例将支持gr**iton4处理器,让客户能够大规模改进高性能数据库、内存缓存和大数据分析工作负载的运行。r8g实例将提供比当前r7g实例多3倍的大容量虚拟cpu和3倍的内存。amazon表示,新的r8g实例目前已推出预览版,计划在未来几个月内全面上市。

trainium2:专为云端ai训练设计的下一代芯片。

随着当今生成式ai应用背后的ai基础模型和大型语言模型变得越来越大,它们需要处理大量数据集,意味着训练模型的时间和成本也在不断增加。那些最大的、最先进的模型可以扩展到数千亿到数万亿个数据点,可以生成文本、图像、音频、**和软件**。

今天,aws发布了trainium2,一款专门用于训练fm和llm的高性能芯片,具有多达数万亿个参数,训练性能是第一代芯片的4倍,内存容量是其3倍。aws还表示,该芯片的能效比第一代提高了2倍。

brown表示:“随着人们对生成式ai兴趣日益高涨,trainium2将帮助客户以更低的成本和更高的能源效率更快速地训练他们的机器学习模型。”

trainium芯片充当了高性能人工智能和机器学习工作负载的深度学习算法ai加速器,还针对训练ai应用中使用的自然语言处理、计算机视觉和推荐模型进行了优化,例如文本摘要、**生成、问答、图像和**生成。

trainium2将在新的amazon ec2 trn2实例中提供,其中单个实例包含16个trainium2芯片。客户将能够在下一代ec2 ultracluster中将这些实例扩展到多达10000个trianum2芯片,并与aws elastic fabric adapter的pb级网络互连,能够提供高达65 exaflops的计算能力。amazon表示,按照这样的规模,客户将能够在一周内而不是几个月培训多达3000亿个参数的大型语言模型。

“下一代云”白皮书发布 PaaS和SaaS成下一代智能云关键动力

市场需求进一步向paas和saas层进发,使之成为公有云服务市场增长的主要动力。月日,全球领先的it研究和咨询公司国际数据公司 idc 联合腾讯云发布 下一代云 聚焦平台能力,支撑智能化业务发展 指出, 五年间年中国公有云市场复合增长率将达到. 其中paas 平台即服务 增速最快,为. saas 软...

99 算力用于洗数据?AI下一步之争 高质量数据

在全球科技创新空前活跃的当下,以人工智能 ai 为代表的前沿科技正在重构全球创新版图 重塑全球经济结构。由上海图书馆主办的 竞争情报上海论坛 月日开幕,多位专家在论坛上提出要重视高质量数据相关技术的布局与发展,在ai的未来发展之路上,继算法之后的 兵家必争之地 就是以数据清洗为代表的数据处理技术。从...

“埃安发布适合家庭的AI家用SUV”

月日,埃安发布了一组送给中国家庭更有爱的vlog,埃安副总经理肖勇化身种草vlogger,为年轻家庭用户带来了一款 更有ai的家庭suv 款aion v plus。在现今的汽车市场上,埃安以其 爆款制造机 的称号引领着潮流。今年月,埃安销量高达辆,连续两个月稳居行业前列,不愧为新能源汽车行业的领头羊...