本周二aws在介绍了“生成式ai堆栈”的参数后,今天aws在拉斯维加斯举行年度re:invent大会上推出了实现这一愿景的关键服务和工具。
aws公司数据和人工智能副总裁swami sivasubramanian(如图)在宣布最新系列产品的主题演讲中,将生成式ai比喻为“称为超新星的美丽能量爆炸”,以描述当前专注于科技领域的ai。
sivasubramanian在re:invent大会演讲过程中表示:“人类与技术之间的强大关系正在我们所有人面前展开,我喜欢把如今发生的一些事情视为数据、生成式ai和人类之间一种有益的关系。”
sagemaker所扮演的角色
这种有益的关系将取决于aws为企业客户提供支持的能力,而这种能力是由实现生成式ai结构的需求所驱动的。从云巨头aws的角度来看,这其中包括访问基础模型、利用数据的私有环境、用于构建和部署应用的易于使用的工具、以及专门构建的机器学习基础设施。
正如今天发布版本所定义的,该结构将很大程度上依赖于aws的机器学习平台sagemaker,以及新推出的amazon q生成式ai助手,另外amazon bedrock也是一个重要资源,是aws通过api提供基础模型的一项服务。
针对sagemaker,aws推出了hyperpod凯发k8官网下载的解决方案,旨在消除优化模型训练的机器学习基础设施所涉及的无差别繁重工作。aws表示,这一新产品将把模型训练时间缩短了40%。
sivasubramanian表示:“这是一件大事,客户将会看到显着的改进。”
hyperpod的重要性在于,它能够解决it基础设施在处理数据量和训练模型所需复杂性方面的局限性,这通常涉及到把模型训练分散到数百或数千个加速器上,并行运行数周或数月时间的数万亿数据计算。
sagemaker hyperpod让客户能够自动在计算资源之间分配训练工作负载,定期保存检查点,以避免在某个组件发生故障时损失时间。
amazon sagemaker董事兼总经理ankur mehrotra在接受媒体采访时表示:“你可以把这视为流量管理问题。它优化了gpu之间的通信,为客户提供可以自我修复的训练集群。”
加强数据基础
aws在本周发布的amazon q生成式ai助手基础上,又在redshift中添加了生成式sql来简化查询编写,并在使用自然语言的无服务器aws glue平台中添加了数据集成功能。
sivasubramanian表示:“q通过连接你的数据来支持业务的几乎每个领域,ai可以增强为其提供动力的数据基础。我们利用这项技术来解决数据管理中的一些重大挑战。”
amazon bedrock在aws本周发布的公告中占据了显着位置。bedrock于今年9月全面上市,aws首席执行官adam selipsky和sivasubramanian在他们的主题演讲中均指出,bedrock已经被超过10000家客户使用。
aws一直在持续为bedrock积累新的功能,并进行一系列增强,包括本周二添加的微调功能和新的安全服务。今天的重点则是满足更广泛的模型选择需求,aws宣布已纳入anthropic语言模型最新版本claude 2.1,同时还将在bedrock中添加meta的llama2 70b。
sivasubramanian表示:“我们仍处于生成式ai的早期阶段,这些模型将继续加速发展。”
bedrock也成为矢量数据库领域一个有用的资源。sivasubramanian在讲话中指出,现在有许多矢量数据库是为bedrock量身定制的,包括redis enterprise cloud和pinecone,mongodb和amazon aurora也将加入其中。
aws宣布推出了新的矢量搜索功能,包括opensearch serverless、document db、dynamo db和amazon memorydb for redis。在今年早些时候发布在aws网站上的一篇论文中,aws分析服务、数据库和ai领导力副总裁g2 krishnamoorthy以及一些合作者概述了矢量数据存储在生成式ai中发挥的重要作用。
在数据库中映射语义关系的嵌入或向量元素,对于生成式ai领域来说有很大的用处。krishnamoorthy在接受媒体采访时表示:“矢量嵌入可以更有力地表示这些信息,在这方面我们还处于非常早期的阶段。”
对于最终为ai巨头提供动力的几项技术来说,现在可能还为时过早,但aws已经利用这次re:invent大会的机会,展示了自己有兴趣在这个技术方向上拥有的主要发言权。
sivasubramanian表示:“数据、生成式ai和人类之间强大的共生关系,正在加速我们创新的能力,aws拥有解锁这项强大技术的一切。”