智快网
快讯 行业 产业 汽车 科技 AI+ 热点

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

2023-11-09来源:互联网编辑:瑞雪

联发科最近推出新款旗舰级5G生成式AI移动芯片天玑9300,它主打全新全大核架构设计和新一代AI处理器APU,并辅以联发科特有的先进技术,这为生成式AI应用带来了强大的性能保证,同时也为消费者带来了丰富和生动的生成式AI体验。至于AI生态,联发科已与许多AI行业的企业达成了深度合作,在移动端共同搭建了富饶的AI生态系统。

全新第七代AI处理器APU 790,为生成式AI而生

随着用户对生成式AI应用需求日益增长,端侧生成式AI便捷、安全性等优势便凸显出来。当然,部署端侧AI大语言模型需要强大的AI算力支撑。

天玑9300搭载联发科第七代AI处理器APU 790,为生成式AI而设计,拥有硬件级的生成式AI引擎,可以实现更加高速且安全的边缘AI计算,深度适配Transformer模型进行算子加速,速度是上一代的8倍。

同时APU 790的性能和能效得到显著提升,整数运算和浮点运算能力提升至前一代的2倍,苏黎世ETHZv5.1 AI-Benchmark Mobile Soc跑分2109 分,AI性能成功霸榜,功耗更是降低了45%。在强大的AI性能支持下,1秒以内即可生成图片。天玑9300强悍的AI算力、创新的全大核CPU架构和Immortalis-G720 GPU都为端侧运行生成式AI打下坚实的性能基础。

同时,基于亿级参数大语言模型的特性,联发科开发了混合精度 INT4 量化技术,结合联发科特有的内存硬件压缩技术NeuroPilot Compression,可以更高效地利用内存带宽,大幅减少AI大模型占用终端内存,为端侧运行AI大语言模型突破手机内存限制,助力更大参数模型在端侧落地。

基于以上,天玑9300首次在vivo旗舰手机端侧落地70亿参数AI大语言模型,处理速度可达20 Tokens每秒。不仅如此,联发科突破了行业极限,已经与vivo成功在端侧运行了130亿参数的大语言模型。甚至,天玑9300已率先实现在移动芯片上成功运行330亿参数的AI大语言模型,领跑业界。

天玑9300还支持多模态生成式AI大模型,打造出“文生诗”“文生图”“文生趣图”等丰富有趣的端侧体验。

可见,天玑9300的AI算力和端侧生成式AI能力已领先行业,足以让用户随时随地AI创造力全飙。

生成式AI模型端侧技能扩充,带来全面、丰富的端侧生成式AI体验

与云侧生成式AI解决方案不同,由于硬件环境的差异,部署端侧生成式AI也需要考虑手机内存、存储容量、负载上限等因素。为此,联发科率先提出了先进的解决方案。

APU 790 支持生成式AI模型端侧技能扩充技术NeuroPilot Fusion,它可以基于基础大模型持续在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)融合,在混合式AI的赋能下,可以基于1个基础大模型,通过云端训练,在端侧完成N个功能的融合,赋予基础大模型更全面、更丰富的生成式AI应用能力。

比如基于AI模型端侧技能扩充技术的“图生GIF动图”功能,用户可以根据一张照片更换不同的风格甚至表情,玩出个人专属风格的表情包,秒变表情包小达人。

AI开发平台NeuroPilot加速端侧生成式AI生态布局

基于强大的AI算力和先进的内存硬件压缩技术、AI模型端侧技能扩充等技术,天玑9300的APU 790将端侧生成式AI的速度和广度提升到了全新的水平。同时,为加速生成式AI在端侧部署和普及,联发科也凭借其AI开发平台NeuroPilot构建了丰富的AI生态,从底层硬件到工具链、模型中心以及开发生态,助力生态快速、高效地部署端侧生成式AI应用。

AI开发平台NeuroPilot支持Android、meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型。

更为重要的是,NeuroPilot拥有一套完整且先进的工具链,除了NeuroPilot Compression低秩自适应融合,还有Speculative Decoding推测解码加速和模型优化与转化技术。

联发科的天玑开发者中心还可提供端侧生成式AI落地一站式开发者资源,分享端侧模型部署案例提升开发效率。目前已有20多个生成式AI合作伙伴加入生态共建。

联发科还携手业界合同伙伴打造精彩的生成式AI应用体验。虹软的生成式AI超级分辨率技术基于天玑9300 APU 边缘计算能力,相比前代,性能可提升30%。在25倍放大的拍摄时,利用生成式AI超级分辨率技术,可以拍出细节更真实的图像效果。

极感科技的生成式AI语意搜索技术也基于天玑9300 APU边缘计算能力,对比前代,性能可提升260%。比如在手机的相册中搜索照片,描述照片的内容即可在毫秒内精准搜到对应的照片。而且在断网状态下也能搜索,隐私也不会泄露。

QQ图片20231109125729.png
QQ图片20231109125729.png

Morpho的视频通话实时数字分身生成技术,同样基于天玑9300 APU边缘计算能力,对比前代,性能提升26%。一般的虚拟人像生成器需手动选取容貌样式花费时间。但基于视频通话实时数字分身生成技术,用户操作容易,仅需打开摄像头单帧图片即可瞬间生成数字分身。

QQ图片20231109125729.png

基于天玑9300 APU边缘计算能力,慧鲤生成式AI防眩光技术性能可提升60%。在此技术加持下,无论是室外还是室内,在拍摄时如有眩光,只要轻松一暗即可消除眩光干扰。

QQ图片20231109125729.png

可以看到,在AI端云融合的趋势下,天玑9300在AI算力、生成式AI用户体验和生态方面展现出全面的优势,为新一代旗舰级端侧生成式AI体验树立了新的标杆,强大生成式AI就要用天玑。

瞩目于此,以联发科为首的生成式AI业界领先者正在通过持之以恒的技术创新和生态布局推进混合式AI计算的发展,为端侧生成式AI部署找到了一条独特而高效的途径,全力为生成式AI在端侧的普及做出努力,让更多用户获取个性化的端侧AI体验,打造全新的全面智能体验,使科技得以广泛惠及民众。

OPPO Find X9系列首销火爆:“追光红”售罄,高端市场接受度持续攀升
OPPO Find系列产品负责人周意保在社交媒体发文确认Find X9系列首销成绩优于预期,并表示线下门店客流及线上热度均表现突出。市场研究机构人士透露,OPPO Find X9系列首销表现较上一代产品有…

2025-10-23

2025年Q3全球PC市场稳健增长 联想惠普华硕等头部厂商表现亮眼
2025-10-22 17:41:32 作者:狼叫兽 总体来看,全球PC市场在2025年第三季度延续了增长趋势,前五大厂商均实现同比增长,其中联想、惠普和华硕增幅显著,反映出主流品牌在产品更新与市场需求回暖…

2025-10-23

网友苦等一加15终有回应 李杰承诺不辜负期待 165帧游戏新体验即将登场
快科技10月23日消息,有网友给一加中国区总裁李杰留言:前面那么多新机都没买,就一直等着一加15。李杰回复:“等等党不会输”。 从120帧到165帧,游戏帧率的突破不仅是参数上的跃升,更是手游体验的一次大换代…

2025-10-23

Wi-Fi 7时代来临,BAW滤波器如何助力无线连接体验升级?
针对国内Wi-Fi7路由器频段需求,可实现精准频段划分与干扰抑制;面向海外6GHz频段应用,产品也通过相关认证,为国产设备出海提供关键元器件支持。 开元通信BAW滤波器成功导入多家头部客户并实现量产,不仅积…

2025-10-22

华为Mate 70 Air登场!“Air”赛道上,华为与苹果的轻薄新较量
苹果那边的iPhone Air还没捂热乎呢,这边华为的“Mate 70 Air”就在电信终端产品库里亮了相。 这种设计不只是为了好看,它对手感的提升是巨大的,拿在手里,没有了那种硌手的棱角感,整个机器会感觉更…

2025-10-22

中国核聚变领域迎突破:最大制冷功率氦制冷机成功启机并稳定运行
IT之家 10 月 21 日消息,据合肥综合性国家科学中心能源院消息,该院孵化企业河南中科清能科技有限公司 (简称“中科清能”) 研发制造的3kW@4.5K 氦制冷机近日在合肥一次启机成功,截至 2025 …

2025-10-22

余承东揭晓“日照金山”神秘面纱:华为路由X3 Pro颜值与实力并存
快科技10月21日消息,刚刚,华为常务董事、终端BG董事长余承东公布了日前预告的神秘新品“日照金山”真实面目:华为路由X3 Pro。 余承东称,这款产品将于11月正式上市,同时还将抽取20名幸运网友送出这款高…

2025-10-22

余承东助力!华为广发AI人才招募令,打造世界一流AI战队共攀AGI巅峰
10月21日消息,日前,华为招聘官微发布“全球顶尖AI人才招募令”,称正在打造世界一流的AI战队,构建领先世界的大模型,攀登AGI的巅峰。 据了解,华为招募AI人才有三点要求,分别是学术先锋、技术热情、创新思…

2025-10-21

双11邂逅秋景,华为Pura 80 Pro降价1200元,影像实力等你来探
说起今年双11,各家影像手机可以说争奇斗艳,但有一款手机可以说是十分低调的,这就是6月份登场的华为Pura80系列,目前市场表现还没发挥出全部实力。 环顾现在新品影像旗舰,主摄1英寸的,可能还是Pura 8…

2025-10-21

iQOO 15预约量飙升超264万:首发2K三星珠峰屏成焦点
快科技10月20日消息,今天晚上7点,iQOO 15正式亮相。 iQOO产品副总裁罗锋介绍,iQOO15预约量突破264万,对比上代提升89%,这是iQOO史上最火爆的旗舰手机之一。 作为iQOO最强旗舰,…

2025-10-21