文章

Mistral Large 4 开放权重:Le Chonk 的许可证与部署成本要分开看

月初还是“月底发布权重”的承诺,现在 Le Chonk 有了可以获取的模型文件。Mistral 在 10 月 29 日宣布释放 Mistral Large 4 的改进版权重,把这款万亿参数级模型从 API 预览推进到可自行部署的新阶段。

本站此前的预览报道只确认了 API 开放与月底计划。本次变化有实际交付依据:官方 Hugging Face 仓库已列出权重分片,公开访问检查也能取得文件响应。本文只核对了仓库元数据和分片响应,没有下载整套巨型权重或运行性能测试。

新发布版继续支持文本、图像输入和文本输出,重点面向编程、智能体与专业任务。Mistral 称,预览之后的强化学习改善了编码和防御安全能力,并提升推理效率;这些属于其发布报告,实际项目仍需按相同任务比较。

更具体的变化是推理设置。新版模型卡列出 low、medium、high 三档,默认 high。对于开发者,开放权重带来的空间,在于可以把模型放进自己的系统,围绕实际任务调整部署与运行方式。

Hugging Face 的技术介绍还提醒,在其 Transformers 实现中,推理不能彻底关闭,传入 none 仍会使用 high。沿用此前调用设置的开发者,应该按自己的调用渠道核对参数行为。单价是预算的一部分,任务实际生成多少内容、采用什么推理档位,也会影响最终开销。

开放权重之后,许可证写了什么

这次使用的是 Mistral Ecosystem Open-Weight License,官方称它是修改版 MIT。模型可以使用、修改、微调和分发,但不能因为看见 MIT 字样,就省略新增条件。

许可证原文规定:如果许可使用者或其关联方经营 Model-as-a-Service(MaaS)业务,原则上在把模型或衍生作品用于商业目的之前,需要另与 Mistral 签商业许可。

原文同时明确了例外:不把模型向第三方提供的内部使用,以及通过 Mistral 官方产品进行的使用,不适用上述第二条要求。因此,把条款概括成“所有商用都收费”也不准确。

MaaS 的定义还涉及第三方能否对输入、参数或训练数据实施实质控制;仅在具体功能中嵌入模型能力的终端产品,以及单纯转发他人托管模型请求的情形,被排除在这一定义之外。准备推出相关业务的团队,需要对照完整定义与例外理解自己的场景。

这一许可证安排反映出 Mistral 的商业取舍:扩大模型的使用与定制空间,同时为模型服务业务保留单独的授权机制。它与按调用量收费的托管 API,可以同时存在。

490 亿、520 亿,与真正的部署体量

模型卡这次给出了更细的计数:每个 token 约有 490 亿激活参数,把嵌入层与输出层计入后约为 520 亿。它们描述的是计算中参与工作的部分,整套模型仍是万亿参数级。

Hugging Face 对 Large 4 的 MoE 专家路由示意:从 128 个路由专家中选择 4 个,并有一个持续工作的共享专家

图源:Hugging Face 的 Large 4 技术介绍,发布于 10 月 29 日,核查于 10 月 31 日。图示解释 MoE 层的路由,保留原始英文;它不是显存占用图。

在 MoE 层中,模型会为当前计算选择少数专家。可以把它想成每次由团队里的一部分成员处理问题,但其他成员的资料仍要有存放和调度方式。这是帮助理解的比喻,不能据激活参数就断定普通显卡足够。

vLLM 的公开部署配方列出的权重体量,FP8 版本约为 1.06 TB,NVFP4 版本约为 610 GB。这些首先是相应格式的权重体量,还要为上下文缓存和运行过程预留空间,不能当作整台服务器的最终内存账单。

模型卡写着百万级上下文,配方当前注明验证到 256k,并把相应运行长度设为示例配置。模型设计支持多长,与一套部署已经验证到多长,需要分别看。长输入和更高并发也会改变资源需求。

“定制”还有不同深度。换一组提示、做轻量适配和全参数训练,成本并不相同。NVIDIA NeMo AutoModel 的 Large 4 文档公开了采用 128 张 GB200 的全模型微调配方。这是特定训练示例,不能写成推理至少需要 128 张卡;它说明的是定制方案必须连同任务和配置一起理解。

对多数只是想使用模型的个人,托管入口仍然更直接。Mistral 在此次公告及模型文档中列出的 API 价格,是每百万 token 输入 0.70 美元、缓存输入 0.07 美元、输出 2.10 美元。调用成本与自建服务器成本是两种账,后者还包含硬件利用率、维护和适配。

Mistral 也把面向高级网络安全工作的专门变体,放在经审核的企业伙伴预览中。不要把普通权重发布,与所有专门版本都已向所有人开放混为一谈。

发布稿还把完整技术报告列为后续内容。获得权重,让开发者可以研究推理表现与做适配;训练语料、训练代码和实验环境是否足以重现,则仍需分别看公开材料。开放权重扩大了检查空间,但不应被自动理解为所有训练信息都已经交付。

这次新闻的意义,是月底承诺终于变成了可获取、可检查、可部署的交付物。下一轮竞争将更具体:团队能否用它完成自己的工作,能否承担长期运行成本,以及许可证和部署方式是否适合业务。拿到权重,为这些问题提供了更大的验证空间。

评论

搜索文章

正在加载搜索…