过去五年，大型语言模型的参数规模以指数级增长
过去五年，大型语言模型的参数规模以指数级增长；从2018年起，OpenAI开始发布生成式预训练语言模型GPT以来，GPT更新换代持续提升模型及参数规模；2022年12月，OpenAI发布基于GPT-3.5的聊天机器人模型ChatGPT，参数量达到1750亿个。ChatGPT引领全球人工智能浪潮，人工智能发展需要AI芯片作为算力支撑。据Tractica数据，全球AI芯片市场规模预计由2018年的51亿美元增长至2025年的726亿美元，对应CAGR达46.14%；据前瞻产业研究院数据，中国AI芯片市场规模预计由2019年的122亿元增长至2024年的785亿元，对应CAGR达45.11%。AI芯片中由于GPU通用型强，满足深度学习大量计算的需求，因此GPU在训练负载中具有绝对优势。以GPT-3为例，在32位的单精度浮点数数据下，训练阶段所需GPU数量为1558个，谷歌级应用推理阶段所需GPU数量为706315个。
