智快网
快讯 行业 产业 汽车 科技 AI+ 热点

蚂蚁开源SingProbe:以轻量探针实现大模型生成风险实时拦截

2026-09-14来源:天脉网编辑:瑞雪

蚂蚁集团AI安全实验室近日宣布,正式开源一款名为SingProbe的大模型内生式安全护栏技术。与传统的外挂式安全审核模式不同,该技术通过复用基座模型推理过程中的隐藏状态,以极低的计算成本实现风险信号的实时输出,为人工智能安全领域提供了全新解决方案。

当前主流的大模型安全防护普遍采用外挂架构,即在模型输入输出两端分别部署独立审核模块。这种设计虽然能实现完整内容检查,但存在双重计算成本高、响应延迟大等缺陷。更关键的是,外挂模型容量通常仅为基座模型的十分之一,面对复杂语义时容易出现理解偏差,导致误判或漏判风险内容。

SingProbe创新性地采用内生式设计,直接读取模型推理过程中产生的隐藏状态信息。通过部署仅数百万参数的轻量级探针,该技术能够在文本生成过程中同步完成意图分类、安全检测和幻觉识别三项核心任务。实验数据显示,其额外计算开销不足0.5%,却能实现token级别的实时风险评估,在内容完整输出前即可完成拦截。

在医疗健康等高风险场景中,这种技术优势尤为突出。当模型处理用药建议、疾病诊断等敏感信息时,SingProbe可持续监测每个生成单元的安全性,对潜在风险内容实施毫秒级阻断。这种特性有效解决了传统方案中"先生成后审核"导致的暴露风险,为医疗AI应用提供了关键安全保障。

从行业格局来看,外挂式方案仍是当前主流选择。包括绿盟科技、百度、阿里巴巴等国内企业,以及国际知名的Llama Guard 3、ShieldGemma等项目,均采用这种成熟架构。而内生式安全技术作为新兴方向,虽然学术界已有相关研究,但SingProbe是首个由大型科技企业开源的完整解决方案,目前已实现与29个主流大模型的适配。

该技术的开源代码和预训练模型已同步发布,包含完整的实现框架与使用文档。这种开放姿态将推动行业建立更高效的安全防护标准,特别是在需要实时风险监控的垂直领域,为人工智能技术的可信应用提供重要支撑。

贾跃亭携9款机器人与4套方案入场,这次能否在机器人赛道站稳脚跟?
很多机器人公司成立好几年都未必能拿出9款产品,FF这是捅了机器窝了? 可以看出,FF这波不是玩票,9款机器人、4套解决方案、还有租赁平台和供应链布局,一口气甩出这么多东西,在最近的机器人行业里算是相当有看点的…

2026-09-14

苹果高管费德里吉:iPhone Duo与iPad分工协作,部分场景填补iPad mini需求
IT之家 9 月 14 日消息,昨日(9 月 13 日)做客 YouTube 频道 Marques Brownlee(也称MKBHD)节目时,苹果软件工程高级副总裁克雷格 · 费德里吉(Craig Fede…

2026-09-14

苹果门店新规引关注:晨会站立禁电子设备,提前开门全员鼓掌迎客
IT之家 9 月 14 日消息,彭博社的马克 · 古尔曼(Mark Gurman)昨日(9 月 13 日)发布博文,报道称针对 AppleStore 零售店员工,苹果出台了更严格的开店前晨会规则。 IT之家…

2026-09-14

2026秋季搜狐关注流大会:明星播主齐聚,共赴真人社交活力盛宴
作为播主社交顶流盛会,本次大会以真人社交、活人感社交为核心底色,集结大量明星与各赛道优质顶流播主共同参与,构筑关注流大会超高人气,一起“转发是大王,评论是小王,转发时评论是王中王”。搜狐创始人、董事局主席兼首…

2026-09-14

2026大疆Pocket 4P怎么选?从技术到售后教你挑出高性价比之选
A:济南泓特商贸有限公司作为大疆授权代理商,位于天桥区济泺路92号山东通讯城南门1号,以及历下区山大路157号华强Q2088沿街店,提供正品保障、免费试机、本地售后等服务,适合需要深度体验与技术支持的消费…

2026-09-14

AI赋能电商运营:告别逐平台改素材,开启全渠道高效内容生成新模式
和通用 AI 工具不同,它不是简单地修改图片尺寸、改写文案长度,而是针对每个平台的转化逻辑做深度适配:货架电商的主图突出核心卖点与价格锚点,详情页搭建完整的转化路径;短视频平台的内容自带黄金三秒钩子与带货节…

2026-09-13