Mistral Large 4 权重开放：万亿参数模型三条上手路径与成本账

10 月 29 日，法国 Mistral AI 把旗舰模型 Mistral Large 4 的权重挂上了 Hugging Face，模型名 mistralai/Mistral-Large-4-1T-A52B，外号「Le Chonk」。同一天，API 价格砍到接近对折：输入 0.70 美元／百万 token，输出 2.10 美元／百万 token，缓存命中的输入只要 0.07 美元。

这件事值得单独写一篇，不是因为「又一个开源模型」，而是因为它把三件事同时摆到了台面上：一个万亿参数的权重、一份带附加条款的许可证、一套真实可跑的三条部署路径。想用的人，今天就能上手；想踩坑的人，也今天就能踩。

一、先看硬指标，别被「1 万亿」吓住

「1 万亿」这个数字容易误导。MoE 的推理成本和延迟看的是激活参数，不是总参数。49B 的激活量意味着它的单次前向计算大致相当于一个 50B 级稠密模型，但显存要装下全部 1 万亿权重——这是后面所有部署问题的根源。

官方给的定位很明确：不主打通用聊天，主打复杂多步代码生成和防御性网络安全（漏洞复现、打补丁）。几个能对得上的分数：Artificial Analysis 编程智能体指数 48%，和 GLM-5.3 基本持平，但每个任务平均少用 47% 的 token；Terminal-Bench 4.0 拿到 41%，比预览版高了 13 个百分点，输出 token 还少了 30%；网络安全指数 51%，恶意请求拒绝率 96.6%，B3 智能体安全基准 97.1%。通用智能指数 v5 只有 26 分——西方开放权重里最高，但比国内头部开源模型低。它就是一把专精的刀，不是万能锤。

二、许可证里那条附加条款，决定你能不能用

许可证叫 Mistral Ecosystem Open-Weight License，是 MIT 的修改版。允许下载、商用、微调、私有化部署，只有一条限制：如果你拿这套权重对外提供「模型即服务」（MaaS），也就是卖推理接口给别人用，必须单独找 Mistral 拿商业授权。

这条线划得很清楚：

• 企业内部部署、做自己的业务系统、微调行业模型——随便用，不用谈。
• 云厂商套壳开个 API 卖钱——先去谈授权。

和 Apache 2.0 那类「连卖服务都随你」的协议比，Mistral 在自己生态里留了个收费口。做技术选型时这条要写进评估表，别等到产品上线才发现许可证不允许。

三、路径一：直接调 API，十分钟能跑通

最省事的一条路。接口是 OpenAI 兼容格式，改个 base_url 就能复用现有代码。

curl https://api.mistral.ai/v1/chat/completions \
  -H "Authorization: Bearer $MISTRAL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-large-4",
    "messages": [{"role":"user","content":"把这段 Python 里的竞态条件找出来并给补丁"}],
    "temperature": 1.0,
    "top_p": 0.95
  }'

三个实操要点：

1. 推理强度要显式设。 默认是 high，简单任务也按 high 跑，token 会白白烧掉。批量做分类、抽取、改写这类活，把强度调到 low 或 medium，成本能差出几倍。
2. 缓存输入是真的便宜。 0.07 美元／百万 token，是正常输入的十分之一。同一份长文档反复问、同一套系统提示词反复用，命中缓存的这部分几乎等于白送。长上下文场景下，这一项比模型本身更影响账单。
3. 别默认它什么都能干。 通用智能指数 26 分说明它在开放问答、常识推理上不是第一梯队。拿它做代码和安全的活，性价比很高；拿它当通用助手，会觉得「怎么不如免费的」。

四、路径二：vLLM 自建，8 卡起步

官方 Day-0 就给了 vLLM 和 SGLang 的镜像与参数。vLLM 的启动命令长这样：

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -p 8000:8000 --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B \
  --tensor-parallel-size 8 \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

几个参数别照抄了事：

• --tool-call-parser mistral 和 --reasoning-parser mistral 是工具调用必需的，缺了它函数调用会解析失败；后者还负责把推理内容和正文分开，不设的话思考过程会混进回答里。
• --tensor-parallel-size 8 是单机 8 卡的示例值，按你的拓扑改。1 万亿权重即使按 FP8 也要约 1TB 显存，8 张 141GB 的 H200 刚好压线，gpu-memory-utilization 别贪心往 0.95 调。
• 显存不够时，先降 --max-model-len 和 --max-num-seqs，不要硬撑 100 万上下文。1M 上下文是能力上限，不是日常配置——真按 1M 跑，KV cache 会先把你压死。

想再快一点，加投机解码：

--speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

DSpark 是模型自带的草稿头，一次提议 3 个 token。官方实测吞吐最高提升 1.9 倍。SGLang 那条路对应的是 --speculative-algorithm DSPARK，--max-running-requests 设 64（不设回退到 48）。

五、路径三：量化版和本地跑

官方放了 NVFP4 量化版 mistralai/Mistral-Large-4-1T-A52B-NVFP4，显存更省、推理更快，但只面向 Blackwell 架构，老卡用不了。社区侧有 ggml-org 和 unsloth 两份 GGUF，能进 llama.cpp，但万亿参数走 CPU 推理，实际只适合验证和调试，不适合当服务。

真要本地跑，先算一下机器账：FP8 约 1TB 显存、NVFP4 约 500GB 以上、GGUF 低比特量化也要 300GB 量级。这不是一张 4090 能碰的模型，起步就是整机。

六、算一笔成本账：什么时候自建才划算

粗算，只做数量级判断。8 卡 H200 整机按需租用，市场价大致 30 元／卡／小时，一台就是 240 元／小时、约 5760 元／天。

同样这笔钱换成 API：输入 0.70 美元／百万 token，约合 5 元／百万，5760 元能买大约 11 亿输入 token。

也就是说，除非你每天真的跑十亿级 token，或者满足下面任一条件，否则自建在纯成本上不划算：

• 数据不能出内网（金融、医疗、政务、涉密研发）。
• 需要用自己的数据做微调，且微调后不想再外传。
• 大批量离线处理，能把 GPU 吃满、不看延迟。

官方自己在文档里也写了：本地服务效果不佳时，推荐用 API。这话不算客套。

七、三个容易踩的坑

坑一：把 100 万上下文当默认配置开。 上下文越长，KV cache 越吃显存，并发直接掉。除非任务真的需要整本手册进去，否则按需裁剪，成本差好几倍。

坑二：忽略推理强度默认 high。 一批离线任务跑完才发现账单翻倍，多半是这个原因。批处理前先固定成 low/medium，做 A/B 对比再决定。

坑三：许可证只看「开源」两个字。 MaaS 条款对做 SaaS 的团队是实打实的约束。评估时把「是否对外提供模型服务」这一栏单独列出来。

八、结论：谁该现在动手

• 写代码、做代码审查、跑安全测试的团队：值得立刻试。48% 的编程智能体指数配上少用 47% token，同样的预算能多跑近一倍任务。
• 要把模型放进自己机房的企业：权重能下载、许可证允许私有化，这是目前西方阵营里唯一能对标的万亿级选择。
• 想做通用助手的个人开发者：直接用 API 就行，别自建，通用能力也不是它的强项。
• 准备套壳卖 API 的：先去谈商业授权，别等上线。

模型权重在 Hugging Face 上是公开的，今天就能下。真正的门槛从来不是「能不能拿到」，而是「拿到之后怎么摆、怎么算账」。