模型家族
LLaMA
LLaMA 是 Meta 开源的大语言模型系列——它把顶级 AI 能力免费开放给全球研究者和开发者。LLaMA 的开源是 2023 年 AI 生态最重要的转折点之一。
① 一句话定义
LLaMA(Large Language Model Meta AI)是 Meta 开发并开源的大语言模型系列。从 2023 年 2 月的 LLaMA 1(7B-65B)到 2024 年的 LLaMA 3.1(8B-405B),LLaMA 系列定义了"开源大模型"的能力上限和质量标准。
④ 典型应用场景
学术研究(有完整权重可审计)、企业私有化部署(数据和模型不出企业边界)、微调为垂直领域模型(基于 LLaMA 微调的衍生模型数量是闭源模型的成千上万倍)、作为 RAG/Agent 的基座模型。
更多
LLaMA 采用 Decoder-only Transformer,创新主要不在架构而在训练策略:精心筛选的高质量训练数据("Trash in, trash out 的反面——Quality in, quality out")、超大规模训练(LLaMA 3 用 15 万亿 Token 训练,远超同期的其他开源模型)。LLaMA 3.1 405B 是迄今最大规模的开源模型,在多项基准上接近 GPT-4。
「LLaMA 是 AI 民主化最重要的推手之一——它证明了"顶级的 AI 能力不一定在闭源公司手里",开源社区的创新速度让大公司都感到压力。
」