智快网
快讯 行业 产业 汽车 科技 AI+ 热点

Meta发布Llama 4系列AI,混合专家架构能否助其效率飙升?

2025-04-06来源:ITBEAR编辑:瑞雪

meta近期推出了其最新的Llama 4系列AI模型,这一系列包括了Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth三款模型。据meta透露,这些模型均经过了庞大的未标注文本、图像和视频数据的训练,旨在赋予它们广泛的视觉理解能力。

目前,meta已将Scout和Maverick两款模型上架至Hugging Face平台。而Behemoth模型仍在紧锣密鼓的训练中。Scout模型能够在单个英伟达H100 GPU上运行,而Maverick则需要更高配置的英伟达H100 DGX AI平台或性能相当的设备。

值得注意的是,Llama 4系列是meta首次采用混合专家(MoE)架构的模型。这种架构通过将数据处理任务分解为多个子任务,再将这些子任务分配给更小的、专门化的“专家”模型,从而在训练和回答用户查询时展现出更高的效率。例如,Maverick模型拥有4000亿个参数,但在128个“专家”模型中,只有170亿个参数处于活跃状态。

相比之下,Scout模型拥有170亿个活跃参数,分布在16个“专家”模型中,总参数数为1090亿个。尽管Llama 4系列模型在性能上有所提升,但它们并非像OpenAI的o1和o3-mini那样的“推理模型”。推理模型会对答案进行事实核查,通常能更可靠地回答问题,但响应时间相对较长。

meta内部测试显示,Maverick模型在通用AI助手和聊天等应用场景中表现出色,尤其在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试等方面,其性能超过了OpenAI的GPT-4和谷歌的Gemini 2.0等模型。然而,与谷歌的Gemini 2.5 Pro、Anthropic的Claude 3.7 Sonnet和OpenAI的GPT-4.5等更强大的最新模型相比,Maverick仍有一定的提升空间。

Scout模型则擅长总结文档和基于大型代码库进行推理。该模型支持处理1000万个词元,这意味着它一次能够处理数百万字的文本。meta还预告了其Behemoth模型。据透露,Behemoth拥有2880亿个活跃参数,分布在16个“专家”模型中,总参数数接近2万亿个。meta内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth的表现优于GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro,但略逊于Gemini 2.5 Pro。

荣誉加冕 东软入选福布斯中国2025出海全球化领军品牌榜
11月7日,2025福布斯中国出海全球化3030榜单正式揭晓。东软集团全资子公司东软云科技以卓越的数字服务赋能能力与全球化实践,入选2025出海全球化领军品牌Top30,成为唯一上榜的综合数字服务科技企业。这一殊荣是对东

2025-11-13

AI迎“效果涌现时刻”,李彦宏:AI产业结构正转变为健康的“倒金字塔”
“当AI能力被内化,成为一种原生的能力,智能就不再是成本,而是生产力。”11月13日举办的2025百度世界大会上,百度创始人李彦宏演讲时表示,更应关心如何让AI跟每一项任务有机结合,“让AI成为企业发展和个人成长的

2025-11-13

重构智能边界:宠智灵宠物AI大模型的技术范式与产业影响
在人工智能产业快速发展的今天,垂直领域大模型正在成为产业智能化的核心驱动力。宠智灵科技正是其中的代表者之一。其自研的“宠生万象”宠物AI大模型,凭借超大规模数据训练体系、深层语义理解能力与跨模态融合算法

2025-11-08

东软出席中国卫生经济学会公立医院高质量发展分会学术年会
近日,由中国卫生经济学会主办的中国卫生经济学会第二十六次学术年会分论坛六暨公立医院高质量发展分会学术年会在北京举办,本次会议以“智慧管理推动公立医院高质量发展”为主题,围绕智慧管理在优化医疗服务流程、

2025-10-30

未来视界的「红楼入梦」:科技、美学与家的三重奏
当古典文学巅峰《红楼梦》邂逅现代显示科技,一场跨越时空的东方美学对话就此展开。2025年10月25日,知乎携手京东电视,于河北廊坊「只有红楼梦·戏剧幻城」举办「十二金钗·十二金吋」主题活动。行业专家、艺术家与

2025-10-27

OPPO Find X9系列首销火爆:“追光红”售罄,高端市场接受度持续攀升
OPPO Find系列产品负责人周意保在社交媒体发文确认Find X9系列首销成绩优于预期,并表示线下门店客流及线上热度均表现突出。市场研究机构人士透露,OPPO Find X9系列首销表现较上一代产品有…

2025-10-23

2025年Q3全球PC市场稳健增长 联想惠普华硕等头部厂商表现亮眼
2025-10-22 17:41:32 作者:狼叫兽 总体来看,全球PC市场在2025年第三季度延续了增长趋势,前五大厂商均实现同比增长,其中联想、惠普和华硕增幅显著,反映出主流品牌在产品更新与市场需求回暖…

2025-10-23

网友苦等一加15终有回应 李杰承诺不辜负期待 165帧游戏新体验即将登场
快科技10月23日消息,有网友给一加中国区总裁李杰留言:前面那么多新机都没买,就一直等着一加15。李杰回复:“等等党不会输”。 从120帧到165帧,游戏帧率的突破不仅是参数上的跃升,更是手游体验的一次大换代…

2025-10-23

Wi-Fi 7时代来临,BAW滤波器如何助力无线连接体验升级?
针对国内Wi-Fi7路由器频段需求,可实现精准频段划分与干扰抑制;面向海外6GHz频段应用,产品也通过相关认证,为国产设备出海提供关键元器件支持。 开元通信BAW滤波器成功导入多家头部客户并实现量产,不仅积…

2025-10-22

华为Mate 70 Air登场!“Air”赛道上,华为与苹果的轻薄新较量
苹果那边的iPhone Air还没捂热乎呢,这边华为的“Mate 70 Air”就在电信终端产品库里亮了相。 这种设计不只是为了好看,它对手感的提升是巨大的,拿在手里,没有了那种硌手的棱角感,整个机器会感觉更…

2025-10-22