备受期待的苹果全球开发者大会(WWDC)落下帷幕,这场科技盛宴中,苹果智能相关的新功能成为焦点。然而,对于中国内地用户和国行苹果设备而言,此次发布的AI更新却有些“遥不可及”,依旧是“环内地、环欧盟”的发布模式。
不过,如果你使用的是外版手机搭配外版Apple ID,那么此次苹果智能的更新堪称“量大管饱”。新一代的苹果基础模型(Apple Foundation Model,简称AFM)基于Gemini基础模型打造,但并非直接使用。打个比方,就如同一家餐厅觉得另一家餐厅的菜不错,便买下其食谱,再根据自己的理解改良成自己的食谱。而且,这是一次性交易,后续对方调整食谱,没有义务提供更新和支持,全靠自己领悟。在苹果手中,这个引进技术并“私有化”后的基础模型分化为两个模式,既可以在iPhone、iPad和Mac等设备端运行,也能在苹果的私有云计算服务器上运行,走的是混合模型方案,不再像之前接入ChatGPT时那样依赖OpenAI的API,这在一定程度上能最大限度地保证用户数据在苹果可控范围内,保护用户个人隐私。
苹果还推出了更强的第二代“设备端模型”,具备更好的多模态能力。与之匹配,iOS、iPadOS和macOS也为全新的苹果智能提供了更丰富的系统级支持,让苹果智能深入到苹果“全家桶”的方方面面。这一系列新技术带来的首个重大变化,便是全新的Siri。
由苹果智能驱动的新Siri名为“Siri AI”,在交互方式和理解能力上有显著提升。苹果为Siri AI准备了一个独立App,用户可以在统一入口查看完整的交互记录,就像使用ChatGPT、Gemini、Grok等App一样。此前网上曝光的“灵动岛Siri”界面在本次大会上得到确认,iPhone用户除了长按侧边按键、Hey Siri唤醒方式外,还能通过顶部下拉的方式激活Siri。
在能力方面,全新的Siri AI拥有“感知”“理解”“调用”“执行”的能力。“感知”能力得益于AFM多模态能力的提升,Siri AI不仅能“听”用户说话,还能“看”到相机拍摄和屏幕显示的内容,输入形式不局限于文字,图片也可输入,语音感知能力也未落下。虽然苹果未披露Siri AI感知画面的具体手段,但猜测可能是基于屏幕截图、录制的GUI Agent,也可能是苹果发挥第一方开发者优势提供了全新API。感知屏幕内容后,Siri AI可以理解并作出响应,比如对着旅游照片查找拍摄地点,对着点餐截图计算每人应付金额,或者推算食物营养信息。在执行方面,Siri AI能充分发挥“主场优势”,用感知的信息创建复杂任务,如生成到拍摄点“三天两夜”的旅游规划,还能调用多个系统App执行操作(三方App支持情况未知)。在macOS上,Siri AI的能力更丰富,可直接对多份文档进行对比、总结和修改,宛如一个AI Agent客户端。苹果还为Siri AI准备了自定义音色功能,用户可以通过“拖进度条”的方式自定义音色、语气语速等,打造专属的Siri AI。不过,Siri AI目前仅支持英语,未来将开放多种语言,但此次更新依旧“环内地、环欧盟”,国行用户只能等待。
苹果智能的影响不止于Siri,还深入到其他App中。全新的Safari接入苹果智能后,可对打开的标签页进行“智能分组”,对于经常开着几百个标签页查资料的用户来说十分实用。基于多模态感知能力,Safari还能在后台智能监控网页,待内容更新后向用户发送通知,对有“网页抢票”需求的用户很有帮助。Safari还提供了“自制浏览器插件”功能,用户用自然语言描述需求,Safari就能用AI生成满足需求的插件。同样支持“自然语言生成”的还有全新的“快捷指令”,以往创建快捷指令流程复杂且有门槛,现在接入苹果智能后,用户只需用自然语言说出需求,快捷指令就能自动搜索各App(含第三方)的执行能力并生成执行文件。
国内使用较少的“Apple家庭”智能家居系统也迎来更新,安装HomeKit摄像头并开启相关服务的用户,家庭App可后台分析监控画面并总结成文字,还能根据用户提问找到对应视频片段。曾被认为“鸡肋”的图乐园也全面升级,不仅具备自然语言生图能力,还能根据用户要求任意调整风格和画面内容。苹果智能强大的图片能力还为相册App带来了更强的AI图片修改能力,除常见的物件消除、AI扩图外,还加入了“空间构图”能力,可将不同照片拓展成带有空间深度信息的空间照片,再重新取景,为传统二维再取景(裁切)加入“Z”轴,其精细程度比iPhone已有的“空间壁纸”转化更高,且会先利用设备端模型实现低延迟实时操作,再调用私有云计算执行完整渲染。
在收费方面,苹果提到部分利用私有云计算能力的苹果智能AI功能有每天使用次数限制,不过iCloud+会加入相关权益。但对于使用国行iPhone、iPad的用户来说,这些新功能依旧“看得见、摸不着”。此次WWDC展示的苹果智能已“形成体系”,完成度较高,且苹果更注重将AI融入日常体验,而非追逐模型参数和跑分成绩。然而,苹果在AI领域仍面临两大挑战,一是苹果智能至今未能进入中国市场,二是AI行业已向更高级的自主Agent演进,苹果需在短时间内走完AFM本地合规化流程,并“补齐”之前欠下的AI技术债。在AI行业技术日新月异的当下,苹果还有很长的路要走。