大语言模型
概念解析——LLaMA
LLaMA(Large Language Model Meta AI)是 Meta 从 2023 年开始开源的一系列大模型,也是全球下载量最高的开源大模型家族。它跟 ChatGPT 的技术路线一样(decoder-only Transformer),但区别在于权重直接开放下载,任何人都能在自己的机器上跑、改、再发布。从 LLaMA 1 到 Llama 4,四年四代,改变了整个开源 LLM 的生态。
1. 从 LLaMA 1 到 Llama 4 的进化
LLaMA 1(2023-02)
Meta 在论文里发布了 7B、13B、33B、65B 四个尺寸。论文的核心结论是:用更多的数据(1T-1.4T tokens)训小模型,效果可以超过用少数据训的大模型。LLaMA-13B 在大多数 benchmark 上跑赢了 GPT-3 175B,这个结果震撼了业界——"小模型 + 好数据"路线从此确立。
LLaMA 1 在架构上做了三个关键选择:用 RMSNorm 替代 LayerNorm(训练更快)、用 SwiGLU 替代 GELU(效果更好)、用 RoPE 旋转位置编码(外推更稳)。这三个选择后来成了整个开源 LLM 圈的默认配置。
Llama 2(2023-07)
训练数据翻到 2T tokens,70B 版本引入 GQA(分组查询注意力),推理时 KV cache 显存直接减半。更重要的是许可证从"仅学术研究"改为"允许商用"——月活低于 7 亿的公司可以免费商用。Meta 还公开了 RLHF + SFT 的训练配方,第一次有人把对齐技术整套开源。
Llama 3 / 3.1(2024)
训练数据飙升到 15T tokens,词表从 32K 扩到 128K。GQA 下放到全系(8B 和 70B 都有)。Llama 3.1 推出了 405B 版本——当时最大的开源模型,在 MMLU / GSM8K 上接近 GPT-4o 水平。RoPE 的旋转基频从 10000 拉到 500000,可用上下文从 8K 推到 128K。
Llama 4(2025-04)
架构大改——从 dense(全参数激活)切到 MoE(混合专家)。所有 FFN 层拆成 N 个路由专家,每个 token 只激活 1 个 routed expert + 1 个 shared expert。两个型号同时发布:Scout(16 expert,17B active / 109B total)和 Maverick(128 expert,17B active / 400B total)。同时引入原生多模态——图像 patch 跟文本 token 在同一个 transformer 里处理,不再是外挂视觉塔。
2. 泄露事件:开源 LLM 的寒武纪大爆发
LLaMA 1 发布时 Meta 只把权重放给申请通过的研究员,不放公开下载。但 2023 年 3 月 3 日,一位 4chan 用户把全部 4 个尺寸的权重以磁力链形式传到了 /g/ 板。Meta 发了 DMCA 撤下函,HuggingFace 配合下架,但磁链在 BitTorrent 网络上已经拦不住了。
后面的 60 天是开源 LLM 史上最密集的创新期:
- 3-10:llama.cpp 首个 commit,纯 C++ 推理 + 4-bit 量化,让 7B 跑在 MacBook M1 上。
- 3-13:Stanford Alpaca,用 52K 条 self-instruct 数据微调,训练费不到 600 美元。
- 3-30:LMSYS Vicuna,用 70K 条 ShareGPT 对话微调,GPT-4 当裁判声称达到 ChatGPT 90% 水准。
- 4-03:UC Berkeley Koala,继续蒸馏路线。
- 4-24:微软 WizardLM,提出 Evol-Instruct 方法。
3. 训练哲学:小模型 + 更多数据
LLaMA 1 论文里有一个反直觉的结论:在给定计算预算下,用更多数据训练一个较小的模型,比用较少数据训练一个较大的模型效果更好。LLaMA-13B(130 亿参数)训了 1T tokens,跑分超过了 GPT-3 175B(1750 亿参数)——后者只训了 300B tokens。
这个发现直接影响了后续几乎所有开源模型的训练策略。后来的 Mistral 7B、DeepSeek、Qwen 都沿用了类似的思路:不盲目堆参数规模,而是在合理大小的模型上用海量数据喂透。Llama 3 训了 15T tokens——是 Chinchilla 最优预算建议的 10 倍以上。
每一代加一两招
Llama 系列从 1 到 4 的底子一直是 decoder-only Transformer,没有换过整体架构。每代只是在归一化、前馈层、注意力机制这几个小零件上换 1-2 个新方案。这种"小步迭代"的风格跟 Google 的 T5 系列每代大改的结构形成鲜明对比。
几个关键的技术决策:RMSNorm(去均值归一化,训练快约 7%)、SwiGLU(门控线性单元,比 GELU 稳定)、RoPE(旋转位置编码,外推性更好)、GQA(分组查询注意力,推理 KV cache 减半)、MoE(混合专家,计算量与参数规模解耦)。
4. Open-weight 与开源之争
Llama 使用的许可证是 Meta 自己写的"Community License",不是 Apache-2.0 或 MIT 这类 OSI 认证的开源许可证。所以 OSI 一直拒绝把 Llama 算作 open source。业内更准确的叫法是 open-weight——能下载权重、能自己跑,但许可证不是真正的开源。
主要限制包括三条:月活超过 7 亿的公司需要单独向 Meta 申请授权;不能拿 Llama 的输出训练其他大语言模型;公开发布的衍生模型名字必须带"Llama-"前缀。前两条在实际使用中影响面不小——字节、腾讯这个量级的公司如果直接拿 Llama 做产品,需要走额外流程。
5. 围着 Llama 长出来的生态
Llama 最大的贡献不是模型本身,而是它催生的生态。HuggingFace 上 fine-tune-of-Llama 标签下截至 2026 年 5 月已超过 12 万个 repo,大部分是各家公司私藏的专用对齐版本。
几个关键方向:
- 推理基础设施:llama.cpp 开创了本地运行大模型的道路,Ollama 给它包了一层友好的用户体验,今天 GGUF 格式已经是本地推理的事实标准。
- 微调配方:Stanford Alpaca 的 self-instruct 模板、Vicuna 的 ShareGPT 数据处理方式、WizardLM 的 Evol-Instruct——都成了后来自动化数据合成的标准方法。
- 多模态:LLaVA 把 CLIP 图像编码器接到 Vicuna 上,是 2023 年最热的开源多模态项目。
- 中文适配:Chinese-LLaMA-Alpaca 是最早的中文化方案,后来 Atom-7B、Llama-3-Chinese 等在中文任务上追平国产模型。
- 代码专项:Code Llama 在 Llama 2 上用 500B tokens 代码数据继续训练,是 Meta 自己出的代码专用版。
6. 2026 现状:Llama 之后
Llama 4 发布后口碑一般,《华尔街日报》和 CNBC 评为 disappointing debut。九个月后,扎克伯格把 AI 团队重组为 Meta Superintelligence Labs,由 Alexandr Wang 接管。2026 年 4 月,新班子推出 Muse Spark——闭源、不再叫 Llama,只通过 meta.ai 和私测 API 提供。
与此同时,开源前沿的重心已经转向中国模型。DeepSeek V3 / R1 接替 Llama 成为开源 baseline,Qwen 系列在 HuggingFace fine-tune 数量上反超了 Llama,Kimi K2 / GLM-4 同期发布开源 MoE。Llama 仍然可以下载使用,但不再是默认的起点。
7. 相邻概念
LLaMA 不是一个孤立概念。顺着这些方向可以深入更多:
- GPT 系列:跟 Llama 走同一条技术路线(decoder-only),但采用闭源 API 模式,是 Llama 的最大对比对象。
- DeepSeek-R1:2026 年接替 Llama 成为开源 baseline 的推理增强模型,代表了开源前沿的转移。
- 混合专家模型(MoE):Llama 4 采用的核心架构,把 FFN 拆成多个专家以解耦计算量与参数规模。
- 大语言模型(LLM):Llama 所属的模型类别,了解 LLM 的基本原理有助于理解 Llama 的位置。