混合 AI 是 AI 的未来。随着生成式 AI 正以前所未有的速度发展以及计算需求的日益增长，AI 处理必须分布在云端和终端进行，才能实现 AI 的规模化扩展并发挥其最大潜能
混合 AI 是 AI 的未来。随着生成式 AI 正以前所未有的速度发展以及计算需求的日益增长，AI 处理必须分布在云端和终端进行，才能实现 AI 的规模化扩展并发挥其最大潜能——正如传统计算从大型主机和瘦客户端演变为当前云端和边缘终端相结合的模式。与仅在云端进行处理不同，混合 AI 架构在云端和边缘终端之间分配并协调 AI 工作负载。云端和边缘终端如智能手机、汽车、个人电脑和物联网终端协同工作，能够实现更强大、更高效且高度优化的 AI。
节省成本是主要推动因素。举例来说，据估计，每一次基于生成式 AI 的网络搜索查询（query），其成本是传统搜索的 10 倍 3，而这只是众多生成式 AI 的应用之一。混合 AI 将支持生成式 AI 开发者和提供商利用边缘终端的计算能力降低成本。混合 AI 架构或终端侧 AI 能够在全球范围带来高性能、个性化、隐私和安全等优势。
混合 AI 架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。例如，如果模型大小、提示（prompt）和生成长度小于某个限定值，并且能够提供可接受的精确度，推理即可完全在终端侧进行。如果是更复杂的任务，模型则可以跨云端和终端运行。混合 AI 还能支持模型在终端侧和云端同时运行，也就是在终端侧运行轻量版模型时，在云端并行处理完整模型的多个标记（token），并在需要时更正终端侧的处理结果。
随着强大的生成式 AI 模型不断缩小，以及终端侧处理能力的持续提升，混合 AI 的潜力将会进一步增长。参数超过 10 亿的 AI 模型已经能够在手机上运行，且性能和精确度水平达到与云端相似的水平。不久的将来，拥有 100 亿或更高参数的模型将能够在终端上运行。
混合 AI 方式适用于几乎所有生成式 AI 应用和终端领域，包括手机、笔记本电脑、XR 头显、汽车和物联网。这一方式对推动生成式 AI 规模化扩展，满足全球企业与消费者需求至关重要。
