本文分析如下：
紧跟着 Meta 的重磅发布， MistralLarge2 也带着权重一起上新了，而且参数量仅为 Llama3.1405B 的三分之一。不仅在编码、数学和多语言等专业领域可与SOTA模型直接竞争，还支持单节点部署。昨天正式发布的 Llama3.1 模型，让AI社区着实为之兴奋。但是仔细一想就能发现—— 405B 的参数规模，基本是没法让个人开发者在本地运行了。比如昨天刚发布，就有一位勇敢的推特网友亲测，用一张英伟达4090运行 Llama3.1 。结果可想而知，等了30分钟模型才开始回应，缓缓吐出一个「The」。最后结果是， Llama 给出完整回应，整整用了20个小时。根据 ArtificialAnalysis 的估算，你需要部署含2张8× H100 的 DGX超算 才能在本地运行 405B 。看来，小扎对 Llama3.1 成为开源AI界Linux的期待，可能和现实有不少的差距。目前的硬件能力，很难支持 405B 模型的大范围全量运行。
此时，又一位开源巨头 Mistral 精准踩点，发布了他们的最新旗舰模型 MistralLarge2 。在代码生成、数学和推理等方面的能力明显增强，可以与 GPT-4o 和 Llama3.1 一较高下。而且，模型参数量仅有 123B ，不到 Llama3.1405B 的三分之一，完全可以在单个节点上以大吞吐量运行。成本效率、速度和性能的「三角形战士」， MistralLarge 当之无愧——和 GPT-4o 比，它开源；和 Llama3.1405B 比，它参数少；和 Llama3.170B 比，它性能好。
推特网友惊呼，「开源AI就这么卷起来了吗！」短短一周时间内， GPT-4omini 、 Llama3.1 、 MistralLarge2 相继发布，有些让人应接不暇。「我躺了，你们先卷着。」但躺平阵营中绝对不包含 ollama 。前脚 Mistral 刚官宣，这边就火速更新。果然，参数量砍去一大半之后，本地部署难度就大大下降了。同样从 ollama 上下载模型，用96GB内存还是可以顺利运行起来的。虽然3token/s的生成速度慢了点，但比起用20个小时等模型响应，已经是质的飞跃了。
用前段时间击穿 GPT-4o 的「9.11vs.9.9」问题测试 Large2 ，没想到它竟然答对了。值得一提的是， MistralLarge 首代发布还不到半年（2024年2月），但并没有开源，用户只能通过官方API或Azure访问。刚发布的 MistralLarge2 则已经将模型权重托管到了 HuggingFAce 仓库中，向研究和非商业用途开放，但商业用途的部署仍需要直接联系 Mistral 以取得许可。
HuggingFace地址：
不仅上下文窗口从上一代的32k增长到了128k（同 Llama3.1 ），而且有强大的多语言能力，支持数十种自然语言以及80多种编程语言。令人印象深刻的是， MistralLarge 的预训练版本在 MMLU 上的准确率可以达到84%。这个成绩已经超过了340B参数的 Nemotron ，而且与 GPT-4 （85.1%）和 Llama3.1 （87.3%）基本处于同一水平，可以说是将模型性能/成本的Pareto最优边界又向前推进了一步。
出自 Llama3.1 本文01代码与推理基于 Mistral 之前训练 Codestral22B 和 CodestralMamba 的经验，研究团队对 MistralLarge2 也进行了大量代码训练，支持包括Python、Java、C、C++、JavaScript和Bash在内的80多种语言。在代码生成方面， MistralLarge2 远远优于 Llama3.170B 和之前的 MistralLarge ，与 Llama3.1405B 不相上下。团队在提高模型的推理能力方
