近期，LMArena更新了大型语言模型的排名，引发了一场关于meta最新发布的开源大模型Llama-4-Maverick真实性能的广泛讨论。此前，Llama-4-Maverick在LMArena的Chatbot Arena LLM排行榜上高居第二，仅次于Gemini 2.5 Pro。然而，这一排名近日却发生了戏剧性的变化，Llama-4-Maverick直线下降至第32名。
这一变化源于开发者对meta提供给LMArena的Llama 4版本产生质疑。有开发者指出，meta提交给LMArena的版本与向社区公开的开源版本存在显著差异，怀疑meta为了刷榜而提供了“特供版”。这一质疑迅速在开发者社区中发酵，引发了广泛的关注和讨论。
为了回应这些质疑，Chatbot Arena官方于4月8日发文确认了开发者的猜测。官方表示，meta首次提交给他们的Llama-4-Maverick版本是一个实验性聊天优化版本，即Llama-4-Maverick-03-26-Experimental。该版本在LMArena上取得了不错的排名，但随后曝光的开源版本却表现平平。
随着更多关于开源版Llama-4-Maverick性能的信息曝光，该模型的口碑急剧下滑。开发者发现，开源版Llama-4-Maverick在LMArena的排名远低于Gemini 2.5 Pro、GPT4o等竞争对手，甚至连基于上一代Llama 3.3改造的模型都不如。这一发现进一步加剧了开发者对meta刷榜行为的质疑。
针对这一争议，meta方面给出了回应。一位meta发言人表示，meta确实尝试了“各种类型的定制变体”，其中Llama-4-Maverick-03-26-Experimental是针对聊天优化的版本。该发言人称，这一版本在LMArena上表现不错，但meta随后发布了开源版本，并期待开发者根据自己的使用案例进行定制。
然而，尽管meta给出了回应，但开发者社区的质疑并未因此平息。许多开发者认为，针对基准测试调整模型不仅具有误导性，还使得他们难以准确预测该模型在不同场景下的表现。这一事件再次引发了关于AI模型性能评估和排名的广泛讨论。
在这场争议中，LMArena的排名也受到了质疑。有开发者指出，尽管LMArena是一个重要的基准测试平台，但其排名结果并非衡量AI模型性能的最可靠指标。这一观点得到了许多开发者的认同。
随着讨论的深入，越来越多的开发者开始关注AI模型的实用性和场景适应性。他们认为，真正的AI模型应该能够在各种实际场景中表现出色，而不仅仅是在某个特定的基准测试上取得高分。这一观点逐渐成为了开发者社区的主流声音。
