人工智能行业专题报告：从deepfakes深度伪造技术看AI安全

Deepfakes定义可分为广义和狭义两个层次，其中广义上指利用了以生成对抗网络技术（GAN）为主体的深度学习技术制造的看起来很真实但实际上属于虚假的图片或视频。随着AI大模型的能力不断突破，deepfakes受到的关注度持续增高。

1、Deepfakes技术始于2014年，随着AI大模型能力的提升关注度持续增高

Deepfakes定义可分为广义和狭义两个层次，其中广义上指利用了以生成对抗网络技术（GAN）为主体的深度学习技术制造的看起来很真实但实际上属于虚假的图片或视频。随着AI大模型的能力不断突破，deepfakes受到的关注度持续增高。

2、 生成式 AI 模型是Deepfakes的技术基础，而人脸伪造技术是deepfakes的一个重要分支

生成式 AI 是深度学习的一个分支，根据生成内容的类别，生成式AI模型可进一步被分为生成式语言模型和生成式图片模型。而随着多模态模型的应用逐步深入，生成式AI模型也开始向多模态方向发展。目前主流生成式AI模型包括VAE、GAN、diffusion模型等，stable diffusion模型的发布再次使得生成式AI的输出质量大幅提升。

人脸伪造技术是deepfakes的一个重要分支，可被进一步划分为有目标可视身份伪造和无目标可视身份伪造，其中有目标可视身份伪造技术已经在俄乌冲突中有所应用。

3、生成式AI技术的迭代增加伪造图片的真实度，同时增大AIGC识别难度

考虑到：1）数据层面，可供训练的数据集规模扩大，带来模型效果的大幅提升；2）算法层面，算法框架的迭代与组合，使得模型训练更加高效、稳定；3）算力层面，算力水平的提升，助力更加高效的复杂模型训练，AI伪造图片的真实度不断增加，使得识别难度增大，带来的潜在风险提升。

4、反AI生成市场空间约64亿元

针对AI生成图像可能带来的风险，各国政府陆续推出政策加以约束。根据我们测算，反AI生成市场空间约64亿元，其中监管侧44亿元，企业侧20亿元。

5、部分反AI生成相关公司

上市公司：美亚柏科、东方通

非上市公司：瑞莱智慧、中科睿鉴、Illuminarty（海外）、AI Voice Detector（海外）、Google（海外）