生成式人工智能行业专题研究：海外大模型篇，生成式AI加速创新，行业迎历史性机遇

Transformer模型是一种采用自注意力机制的深度学习模型

Transformer模型是一种采用自注意力机制的深度学习模型，这一机制可按输入数据各部分的重要性分配权重，可用于自然语言处理(NLP)、计算机视觉(CV)领域应用，后来出现的BERT、GPT-3、laMDA等预训练模型都是基于Transformer模型建立的。