智快网
快讯 行业 产业 汽车 科技 AI+ 热点

xAI开源3140亿参数大模型Grok-1 科技界掀起新热潮

2024-03-18来源:智快科技编辑:星辉

【智快网】3月18日消息,近日,科技界掀起了一股新的热潮。马斯克旗下的人工智能公司xAI在周日的官方声明中,震撼宣布其大语言模型Grok-1正式开源。此举意味着,公众可以访问github.com/xai-org/grok,按照指引获取并使用该模型的权重和网络架构。

据悉,Grok-1是一款混合专家模型,拥有惊人的3140亿参数,这一数字在目前所有已开源的大语言模型中独占鳌头。如此庞大的参数规模,无疑将为大语言模型领域带来前所未有的变革与突破。

据智快网了解,Grok-1是xAI团队从头开始训练的模型,其预训练阶段已于去年10月圆满完成。此次开源的是预训练结束时的原始基础模型检查点,尚未针对任何具体应用进行微调。这意味着,开发者们可以根据自身需求,对Grok-1进行进一步的定制和优化。

xAI在官网上透露,Grok-1是在海量文本数据上训练的基础模型,其训练过程采用了JAX和Rust编程语言,并借助了团队自定义的训练栈。如今,该模型的权重和架构已按照Apache 2.0开源许可协议公开发布,为全球范围内的研究者和开发者提供了宝贵的资源。

尽管Grok-1的开源时间相较于马斯克在社交媒体上公布的时间有所延迟,但这并未影响其在科技界的热度。事实上,这一开源行动标志着人工智能领域的一大进步,为整个行业注入了新的活力。

关于开源时间的定义,不同国家和地区可能存在差异。然而,按照国际标准化组织ISO 8601的规定,Grok-1的开源时间仍在马斯克所提及的那一周范围内。这一细节虽然引发了部分讨论,但并未影响Grok-1作为一款重要开源大语言模型的地位和影响力。

AMD携手合作伙伴共推AI PC发展 锐龙8040系列领航中国市场
【智快网】3月22日消息,AMD在昨日盛大举办的AI PC创新峰会上,携手众多合作伙伴、媒体及行业领袖,共同揭示了其在中国AI PC生态系统的强劲发展势头,致力于将前沿的AI计算技术带给广大消费者。AMD首席执行官Lisa Su

2024-03-22