数字经济时代,数据已经成为堪比石油的战略资源。而随着当前ai大模型产业呈“井喷”之势发展,海量数据处理需求也随之而来,这也让ai训练所需的计算量呈指数级增长。作为训练ai大模型的基础,智能算力的需求也愈发旺盛,且正成为支撑行业变革、打通数字经济“动脉”的重要底座。
编辑 | missd
ai大模型“井喷”算力成“深水区”关键
自去年底chatgpt一夜爆火,今年以来,国内ai相关科技公司及巨头发布大语言模型的节奏可谓“遍地开花”。当前,大型模型正随着商业化应用场景的不断拓展,国产大模型已呈现井喷趋势。
今年以来,百度、阿里、华为等国内科技巨头均发布了自己的ai大模型产品,更加速推动了ai大模型的产业化发展。据科技部新一代人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示,我国10亿参数规模以上的大模型已发布79个。而3个多月后,clsa asia-pacific markets给出的一份调查,这一数据已新增至130个,占全球总量的40%,仅次于美国的50%。
ai大模型的出现,使得人工智能技术在自然语言处理、图像识别、语音合成等领域不断突破,并不断为ai产业落地应用进入“深水区”提供关键驱动力。然而,随着ai大模型的不断迭代,“生成式ai大模型浪潮”的关键在于智能涌现能力、多轮对话以及更强的生成能力。此时人们发现,训练ai大模型的基础——算力,才是体现ai大模型数据处理能力强弱的关键。
此前,业界就已经意识到“选大模型要选大厂而非创业公司”,其中缘由除了技术层面之外,另一方面就是围绕算力、芯片、数据集等持续重投入资金。
据国外相关研究数据显示,运行聊天gpt每月将花费300万美元,训练路径语言模型(palm)将花费2000万美元的计算成本(谷歌最新的llm 11大模型)。目前,只有少数拥有极其庞大资源的公司能够构建这些模型,这就是为什么大多数现有的大型人工智能模型几乎完全由大型科技公司开发,尤其是谷歌(google brain、deepmind)、meta和微软(及其被投资的openai)这些大公司。
因此,此类大模型需要的计算和数据资源规模,只有资源最充足的公司才能承受。对于ai大模型公司而言,如果没有充足的算力保障、数据集保障,且没有做好长期、每年数十亿甚至上百亿的资金投入准备时,就得掂量掂量是否要涉足该领域了。
数字化进程中 算力行业所面临的挑战
在当前大模型等ai应用呈井喷式增长的背景下,算力正推动着整个数字产业的发展,且已开始变革。与此同时,对整个社会数字化发展进程至关重要的算力行业,也在进一步寻求突破时面临严峻挑战。
当前,尽管全球范围内算力需求持续增长,但算力供给却相对滞后,因此对ai及数据处理等领域的发展产生了一定程度上的制约。同样,目前我国算力产业发展也有诸多痛点亟待解决,比如算力供需失衡、跨数据中心算力调度难、算力基础设施能耗大、企业利用算力成本高等问题。
ai算力资源分布不均且供需不平衡,既会导致了资源的浪费和效率的降低,也会间接地制约整个算力产业高质量发展。据idc相关报告显示,全球数据量每年增长约60%,但算力每年增速仅为10%,这表明算力的供给与需求之间存在巨大差距。
由于在gpu计算、云计算等方面的技术积累相对较少,这也使得我国在ai算力调度方面存在瓶颈。对算力调度而言,效率至关重要,系统架构、算法优化等方面的限制,会让处理大规模数据时效率低下的问题更加突显。
算力使用成本高昂也是目前我国算力行业所面临的问题,由于ai算力调度涉及大量的硬件设备、软件平台和人力资源,因此算力供需失衡的话会导致有些地区算力成本高,也让该区域的中小企业在面临ai算力调度时,成本压力增大。
另外就是“老生常谈”的问题——数据安全问题。ai算力调度的普及,也让安全问题日益突显。作为企业的核心资产,数据可谓是关键所在,在算力调度过程中,数据的安全与隐私保护是个问题。比如数据泄露、黑客攻击等现象的发生,也给国内ai算力调度及数字经济发展带来了安全隐患。
面对以上四大挑战,算力行业该如何寻求突破成为了接下来的关键。
打通数字经济“大动脉” 算力产业迎来变革
作为业界都聚焦的领域,突破算力瓶颈似乎正处于“黎明前的黑暗”。
相比移动互联网时代的数据中心以cpu为主,如今智能算力时代数据中心已转变为以gpu芯片为主的算力基座,且算力需求或是以前的10倍、100倍,甚至更多。行业几家芯片巨头如英伟达等gpu价格及企业股票的增长也能看得出该趋势。随着gpu需求水涨船高,算力行业也开始慢慢变革。
早在今年6月初,芯片供应商台积电就宣布正式启用全新的3dfabric技术,该技术主要由先进封装、三维芯片堆叠和设计三部分组成。通过先进封装,在单一封装中置入更多处理器及存储器,从而提升运算效能。
此外,业界其他芯片巨头如英伟达、amd等也纷纷发布ai芯片新品,如英伟达此前发布的nvidia dgx超级计算机技术,256个gh200超级芯片相连作为单个gpu运行,“专门”助力大负载巨型ai大模型开发,以解决算力问题。另外,以gpu为核心算力的商汤,也于前几个月基于aidc建设了智能计算平台ai大装置sensecore,算力规模大幅提升。
随着新的算力芯片到来的,还有国内各地出台的一系列利好政策,也积极引导大模型研发企业应用国产人工智能芯片,加快提升ai算力供给的国产化率,提升算力资源统筹供给能力,携手企业共同推动算力市场发展。
目前,国内在ai芯片领域已经涌现出了多家优秀厂商,ai算力性能显著提升,为推进国内数字化进程提供了极大助力。
写在最后:
随着数字化转型进入深水区,处于ai大模型“风口”下的技术迭代新动向成为“风向标”,算力正是如此。只有直面挑战、抓住机遇,才能不断进阶,在新一代科技变革中屹立不倒。