数据世界
产业资讯 宏观经济 企业动态 人物动态 科技数码 数据洞察 AI前沿 行业峰会 热点资讯

蚂蚁开源SingProbe:以轻量探针实现大模型生成风险实时拦截

2026-09-14来源:天脉网编辑:瑞雪

蚂蚁集团AI安全实验室近日宣布,正式开源一款名为SingProbe的大模型内生式安全护栏技术。与传统的外挂式安全审核模式不同,该技术通过复用基座模型推理过程中的隐藏状态,以极低的计算成本实现风险信号的实时输出,为人工智能安全领域提供了全新解决方案。

当前主流的大模型安全防护普遍采用外挂架构,即在模型输入输出两端分别部署独立审核模块。这种设计虽然能实现完整内容检查,但存在双重计算成本高、响应延迟大等缺陷。更关键的是,外挂模型容量通常仅为基座模型的十分之一,面对复杂语义时容易出现理解偏差,导致误判或漏判风险内容。

SingProbe创新性地采用内生式设计,直接读取模型推理过程中产生的隐藏状态信息。通过部署仅数百万参数的轻量级探针,该技术能够在文本生成过程中同步完成意图分类、安全检测和幻觉识别三项核心任务。实验数据显示,其额外计算开销不足0.5%,却能实现token级别的实时风险评估,在内容完整输出前即可完成拦截。

在医疗健康等高风险场景中,这种技术优势尤为突出。当模型处理用药建议、疾病诊断等敏感信息时,SingProbe可持续监测每个生成单元的安全性,对潜在风险内容实施毫秒级阻断。这种特性有效解决了传统方案中"先生成后审核"导致的暴露风险,为医疗AI应用提供了关键安全保障。

从行业格局来看,外挂式方案仍是当前主流选择。包括绿盟科技、百度、阿里巴巴等国内企业,以及国际知名的Llama Guard 3、ShieldGemma等项目,均采用这种成熟架构。而内生式安全技术作为新兴方向,虽然学术界已有相关研究,但SingProbe是首个由大型科技企业开源的完整解决方案,目前已实现与29个主流大模型的适配。

该技术的开源代码和预训练模型已同步发布,包含完整的实现框架与使用文档。这种开放姿态将推动行业建立更高效的安全防护标准,特别是在需要实时风险监控的垂直领域,为人工智能技术的可信应用提供重要支撑。

未来智能马啸:AI硬件嵌入支付,打通“写入现实”关键闭环
在这幅更大的图景里,硬件是AI感知现实的感官——耳机始终在线,持续捕捉现场的声音、方向和对话轮次;Agent是理解意图的大脑——五层判断链路把模糊的信号收敛为可执行的行动依据;支付则是写入现实的手——让AI…

2026-09-14

Anthropic、OpenAI、字节跳动纷纷入局,AI竞争新赛道聚焦可交互3D空间
LLM智能体派更贴近专业创作者的生产环节:建筑可视化、游戏关卡原型、影视预演,服务的是B端、生产端的效率提升;视频模型更贴近大众消费场景:直播、互动短剧、游戏,字节还能借助内容平台与工具,形成从生成到分发的完…

2026-09-14

马斯克透露:Grok 4.8本周完成训练并启动强化学习,参数量达2.5万亿
IT之家 9 月 14 日消息,xAI 首席执行官埃隆 · 马斯克今天在 X 平台透露,Grok 4.8 将是一款参数量达 2.5 万亿的 AI模型,使用全新 C++ 软件栈训练。 马斯克表示,Grok 4…

2026-09-14

苹果新CEO谈AI设备隐私:以贴心设计让用户与旁人皆安心
特努斯随后拿 Apple Watch Series 12 的“LiveRewind”实时回放功能举例:“我们希望以人们能够放心使用的方式实现各种 AI 功能,同时希望用户周围的人能够对智能设备感到放心。”…

2026-09-14

苹果门店新规引关注:晨会站立禁电子设备,提前开门全员鼓掌迎客
IT之家 9 月 14 日消息,彭博社的马克 · 古尔曼(Mark Gurman)昨日(9 月 13 日)发布博文,报道称针对 AppleStore 零售店员工,苹果出台了更严格的开店前晨会规则。 IT之家…

2026-09-14

iPhone 18 Pro系列京东开售!早鸟票用户享专属权益 最快9分钟送达
此前成功抽中京东Apple新品早鸟票的用户无需抢购,已在开售当晚丝滑购入心仪机型,更获得了以旧换新补贴500元及AppleCareServices原厂服务等专属权益。 开售不久,就有网友在京东抢到iPho…

2026-09-14

外滩大会聚焦具身智能:蚂蚁灵波朱兴谈冷启动、数据与未来竞争格局
但在接受记者采访时,蚂蚁灵波科技CEO朱兴却给出了谨慎的判断:具身智能仍处于冷启动阶段,能力与成本是落地两道门槛,数据分布与质量比单纯堆量更关键。对于本体与大脑之争,他不极端化:研发需要软硬一体,灵波R系列承…

2026-09-14