过去五年,大型语言模型的参数规模以指数级增长
过去五年,大型语言模型的参数规模以指数级增长;从2018年起,OpenAI开始发布生成式预训练语言模型GPT以来,GPT更新换代持续提升模型及参数规模;2022年12月,OpenAI发布基于GPT-3.5的聊天机器人模型ChatGPT,参数量达到1750亿个。ChatGPT引领全球人工智能浪潮,人工智能发展需要AI芯片作为算力支撑。据Tractica数据,全球AI芯片市场规模预计由2018年的51亿美元增长至2025年的726亿美元,对应CAGR达46.14%;据前瞻产业研究院数据,中国AI芯片市场规模预计由2019年的122亿元增长至2024年的785亿元,对应CAGR达45.11%。AI芯片中由于GPU通用型强,满足深度学习大量计算的需求,因此GPU在训练负载中具有绝对优势。以GPT-3为例,在32位的单精度浮点数数据下,训练阶段所需GPU数量为1558个,谷歌级应用推理阶段所需GPU数量为706315个。