在本周二的阿姆斯特丹的思科全球网络会议（cisco live）上，企业网络巨头思科宣布与英伟达（nvidia）合作推出一系列专为时下最受关注的热门词（ai/ml：人工智能/机器学习）量身定制的硬件和软件平台。
两家合作的一个重点是使得用标准以太网部署和管理人工智能系统更加容易一些，相信那些费尽周折考ccna和/或ccnp证书的人对此会深有体会。
gpu为人工智能集群提供动力，也往往是讨论的焦点，但支持人工智能集群所需的高性能、低延迟网络可能相当复杂。现代gpu节点确实在很大程度上受益于200gb/s、400gb/s以及即将到来的800gb/s高速网络，但这只是部分因素，尤其是在训练模型时。因为这些工作负载通常需要分布在包含四个或八个gpu的多台服务器上，任何额外的延迟都会导致训练时间的延长。
因此，nvidia的infiniband仍然在人工智能网络部署中占据主导地位。dell'oro group的企业分析师sameh boujelbene最近在接受采访时估计，约90%的部署使用的是nvidia/mellanox的infiniband，而不是以太网。
这并不是说以太网没有受到重视。一些新兴技术（例如带有深度数据包缓冲区的智能网卡（smartnic）和人工智能优化交换机专用集成电路（asic）有助于抑制数据包丢失）使以太网至少可以更像infiniband一样运行。
例如，我们去年夏天谈到过的思科silicon one g200交换机asic就具有许多有利于人工智能网络的功能，包括高级拥塞管理、数据包喷洒技术和链路故障转移。但需要注意的是，这些功能并非思科独有，nvidia和博通（broadcom）近年来也推出了类似功能的交换机。
dell'oro预测，到2027年，以太网在人工智能网络中的作用将占据约20%的收入份额。其中一个原因是业界熟悉以太网。人工智能部署可能仍然需要做一些特定的调整，但企业已经知道如何部署和管理以太网基础设施。
对nvidia来说仅这一点就使得与思科等网络厂商的合作是一个有吸引力的前景。虽然这可能会减少nvidia自家infiniband或spectrum以太网交换机的销售额，但回报是能够将更多gpu交付到本来可能对部署完全独立的网络堆栈持怀疑态度的企业。
思科的企业人工智能视角
为了支持这些努力，思科和nvidia推出了参考设计和系统，旨在确保兼容性，并帮助解决部署网络、存储和计算基础设施方面的知识差距，以支持其人工智能部署。
这些参考设计以企业可能已经投资的平台为目标，包括来自pure storage、netapp和red hat的套件。参考设计还有助于推动思科的gpu加速系统。其中包括将旗下的flexpod和flashstack框架应用于人工智能推理工作负载的参考设计和自动化脚本。许多人预计推理（尤其是小型特定领域模型的推理）将成为企业人工智能部署的主要部分，因为其运行和训练成本相对较低。
flashstack ai cisco verified design(cvd)是一个将思科的网络和gpu加速ucs系统与pure storage的闪存阵列一起部署的指南。而flexpod ai（cvd）似乎也遵循了类似的模式，只是将pure换成了netapp的存储平台。思科表示，这些产品将于本月晚些时候推出，未来还将推出更多由nvidia支持的cvd。
提一下思科的ucs计算平台，该网络方案还推出了一款专注于边缘的x系列刀片系统，可配备nvidia的最新gpu。
x direct机箱有8个插槽，可配置双插槽或四插槽计算刀片组合，或用于gpu计算的pcie扩展节点。额外的x-fabric模块也可用于扩展系统的gpu容量。
不过，值得注意的是，与supermicro、dell、hpe和其他厂商所采用的nvidia最强大的sxm模块不同，思科的ucs x direct系统似乎只支持功耗较低的基于pcie的gpu。
根据ucs x direct数据表，每台服务器最多可配备六个紧凑型gpu，或最多两个双插槽、全长、全高gpu。
这对那些希望运行消耗数百千兆字节gpu内存的大型语言模型的用户来说可能是个限制。不过，在运行较小的推理工作负载时，如边缘数据预处理，这可能已经足够了。
思科该平台的定位是制造业、医疗保健业和运行小型数据中心的企业。
两家合作的一个重点是使得用标准以太网部署和管理人工智能系统更加容易一些，相信那些费尽周折考ccna和/或ccnp证书的人对此会深有体会。
gpu为人工智能集群提供动力，也往往是讨论的焦点，但支持人工智能集群所需的高性能、低延迟网络可能相当复杂。现代gpu节点确实在很大程度上受益于200gb/s、400gb/s以及即将到来的800gb/s高速网络，但这只是部分因素，尤其是在训练模型时。因为这些工作负载通常需要分布在包含四个或八个gpu的多台服务器上，任何额外的延迟都会导致训练时间的延长。
因此，nvidia的infiniband仍然在人工智能网络部署中占据主导地位。dell'oro group的企业分析师sameh boujelbene最近在接受采访时估计，约90%的部署使用的是nvidia/mellanox的infiniband，而不是以太网。
这并不是说以太网没有受到重视。一些新兴技术（例如带有深度数据包缓冲区的智能网卡（smartnic）和人工智能优化交换机专用集成电路（asic）有助于抑制数据包丢失）使以太网至少可以更像infiniband一样运行。
例如，我们去年夏天谈到过的思科silicon one g200交换机asic就具有许多有利于人工智能网络的功能，包括高级拥塞管理、数据包喷洒技术和链路故障转移。但需要注意的是，这些功能并非思科独有，nvidia和博通（broadcom）近年来也推出了类似功能的交换机。
dell'oro预测，到2027年，以太网在人工智能网络中的作用将占据约20%的收入份额。其中一个原因是业界熟悉以太网。人工智能部署可能仍然需要做一些特定的调整，但企业已经知道如何部署和管理以太网基础设施。
对nvidia来说仅这一点就使得与思科等网络厂商的合作是一个有吸引力的前景。虽然这可能会减少nvidia自家infiniband或spectrum以太网交换机的销售额，但回报是能够将更多gpu交付到本来可能对部署完全独立的网络堆栈持怀疑态度的企业。
思科的企业人工智能视角
为了支持这些努力，思科和nvidia推出了参考设计和系统，旨在确保兼容性，并帮助解决部署网络、存储和计算基础设施方面的知识差距，以支持其人工智能部署。
这些参考设计以企业可能已经投资的平台为目标，包括来自pure storage、netapp和red hat的套件。参考设计还有助于推动思科的gpu加速系统。其中包括将旗下的flexpod和flashstack框架应用于人工智能推理工作负载的参考设计和自动化脚本。许多人预计推理（尤其是小型特定领域模型的推理）将成为企业人工智能部署的主要部分，因为其运行和训练成本相对较低。
flashstack ai cisco verified design(cvd)是一个将思科的网络和gpu加速ucs系统与pure storage的闪存阵列一起部署的指南。而flexpod ai（cvd）似乎也遵循了类似的模式，只是将pure换成了netapp的存储平台。思科表示，这些产品将于本月晚些时候推出，未来还将推出更多由nvidia支持的cvd。
提一下思科的ucs计算平台，该网络方案还推出了一款专注于边缘的x系列刀片系统，可配备nvidia的最新gpu。
x direct机箱有8个插槽，可配置双插槽或四插槽计算刀片组合，或用于gpu计算的pcie扩展节点。额外的x-fabric模块也可用于扩展系统的gpu容量。
不过，值得注意的是，与supermicro、dell、hpe和其他厂商所采用的nvidia最强大的sxm模块不同，思科的ucs x direct系统似乎只支持功耗较低的基于pcie的gpu。
根据ucs x direct数据表，每台服务器最多可配备六个紧凑型gpu，或最多两个双插槽、全长、全高gpu。
这对那些希望运行消耗数百千兆字节gpu内存的大型语言模型的用户来说可能是个限制。不过，在运行较小的推理工作负载时，如边缘数据预处理，这可能已经足够了。
思科该平台的定位是制造业、医疗保健业和运行小型数据中心的企业。
责任编辑：
