NExT-LFM · LATENT KNOWLEDGE

灵眸守卫是 NExT-LFM 潜在知识(Latent Knowledge)研究的场景落地:把多模态大模型里「已经具备、但不直接外显」的理解能力激发出来,对齐到看护与安全的具体规则,再转成可复核、可追溯的告警与报告。

研究愿景 →
LLM VISION GUARD

看得见 · 听得懂 · 说得清
大模型看护守卫

接入现有摄像头,多模态大模型不只画框:它能用一句话说清画面里发生了什么,能听懂老人的求助,也能在每天清晨交出一份可追溯的安全报告。一套底座,覆盖住宅小区、养老敬老院与校园。

0项上架能力
0项算法储备
0h不间断值守
2′40″平均响应时长
LIVEAI 分析中
人形 ×3 · 0.97
翻越围栏 · 告警
"有人翻墙" · 命中 1 段
SCENARIOS

一套系统,三类场景复用

同一套大模型能力,按场景配置不同的检测项与告警规则。小区重周界与车行,敬老院重长者看护,校园重秩序与行为规范。

住宅小区

周界围墙、地库出入口、单元门厅、非机动车棚。夜间重点防翻越、防入侵、防车辆异常滞留,消防通道占用随手可查。

翻越围栏区域入侵车辆检测车牌识别消防通道占用

养老敬老院

房间、走廊、楼梯、活动室与庭院。护理人力有限,靠持续看护兜住摔倒、卧地未起、久卧不动、夜间离床与误入高危区域,并支持老人语音呼叫。

疑似摔倒卧地未起夜间离床长时间无活动语音求助危险区域

校园

校门口、操场、楼道、教学楼顶连廊、校园湖边与宿舍区。除校外人员与车辆管控外,重点盯防高空攀爬、临水危险、抽烟、冲突与楼道拥挤等极端风险。

疑似高空攀爬疑似临水危险抽烟行为肢体冲突人员聚集
SEMANTIC RECALL

一句话,找到那一刻

不用记通道号,也不用拖时间轴。把想问的话直接说出来,系统在全部录像里做语义检索,返回命中的片段、关键帧,以及一句人话结论。

检索
试试这样问 ↓
12 路已建语义索引
30 天录像可回溯检索
1.8s平均召回耗时
翻越围栏 0.91 21:14:06 · 命中
疑似摔倒 0.93 · 卧地 40s 升级 · 未起身
抽烟行为 0.89 17:26 · 停留 50s
CAM 05 · 小区西侧围墙 / 2026-10-19 21:14:06 命中 1 段

CAPABILITIES

20 项能力,从“看见”到“看懂”

右侧画面为识别效果示意。右上角标签说明这项能力的工作方式与处置优先级:实时 流式检测 · 大模型 语义理解 · 告警 推送复核 · 紧急 最高优先。点击卡片可放大查看。

全部能力 20
目标感知 5
安全事件 9
长者关怀 6
L1 检测框出目标、给出置信度 → L2 理解判断行为、事态与升级 → L3 生成用语言描述、检索与成文

人形检测 实时

画面中稳定框出并跟踪每一位人员,区分人体与广告牌、树影、招贴等干扰,为后续的行为分析提供目标基础。

多目标跟踪抗遮挡夜间增强

车辆检测 实时

识别轿车、SUV、货车、电动车等车型,统计出入与停放状态,车辆在禁停区超时滞留即时提醒。

车型分类滞留检测车流统计

车牌识别 实时

抓拍并识别车牌号码与号牌颜色,支持无感通行、访客登记、黑名单车辆比对与出入记录回溯。

号码识别号牌颜色黑白名单

图片 / 视频内容描述 大模型

用一句句自然语言说清画面里发生了什么,把看不懂的监控变成可检索、可回溯的文字记录,支持自然语言搜录像。

多模态理解自然语言语义检索

区域人数统计 / 点名核对 实时

按区域统计在场人数、进出双向流量与平均停留时长,支持与名单基数核对,用于校园点名、场所超员与夜间滞留核查。

人流计数进出双向名单核对

火焰检测 紧急

识别画面中的明火与烟雾,低照度、夜间环境同样有效,触发后第一时间推送并联动现场处置。

明火 / 烟雾夜间有效联动告警

烟雾 / 消防通道占用 告警

在没有明火之前就抓住隐患:识别初期烟雾,以及杂物、车辆堆放占用消防通道与安全出口,契合消防检查的日常要求。

初期烟雾通道占用消防合规

指定区域入侵 告警

自由绘制电子围栏与警戒区,人员进入即刻告警;支持多区域、分时段、分级别的规则配置。

电子围栏多边形区域分级告警

翻越围栏检测 紧急

识别攀爬、跨越围墙与护栏的肢体动作,夜间周界防护的核心能力,先告警、后人工复核。

动作识别周界防护夜间

抽烟行为 告警

在楼道、仓库、加油站、林区等禁烟场所识别点烟与吸烟动作,及时消除消防隐患。

行为识别禁烟区消防隐患

疑似打架 / 肢体冲突 紧急

识别推搡、挥击、纠缠、多人围堵等激烈肢体动作,输出“疑似”结论并附关键帧,交由人工复核确认。

动作识别疑似告警关键帧回传

楼梯 / 走廊人员聚集 告警

统计区域人数与停留时长,拥挤、聚集超过阈值即提醒,可用于楼道防踩踏、宿舍区夜间聚集与滞留监测。

人流计数停留时长密度阈值

疑似跳楼 / 高空攀爬 紧急

识别天台、连廊、阳台栏杆处的攀爬、跨越护栏、长时间停留于外沿等动作,秒级推送校方值班与安保,为现场干预争取时间。

护栏跨越外沿停留秒级推送

疑似跳湖 / 落水检测 紧急

识别校园湖岸、河边、水塘栏杆处的翻越动作,以及人员入水后水面持续异常波动,联动广播喊话与救援派单。

临水翻越入水判定广播联动

老人疑似摔倒 紧急

识别突然倒地、躺卧不起等姿态,秒级通知护理员与家属端,附事发前后关键帧,便于判断伤情。

姿态识别躺卧检测紧急联动

摔倒后长时间未起 紧急

摔倒只是第一步判断。若倒地后超过阈值仍无自主起身,事件自动升级并扩大通知范围——从“发现”走到“确认”,而不是丢一条告警就结束。

卧地时长告警升级闭环确认

老人长时间无活动 告警

在房间、沙发、床边等固定区域监测长时间静止状态,超过阈值主动提醒巡查,预防意外无人发现。

静止监测时长阈值主动关怀

夜间离床 / 离床未返 告警

夜间识别老人离床、起夜后长时间未返回床位,或独自走向卫生间、阳台与房门,及时提醒护理员,降低夜间跌倒与走失风险。

床位空置返床计时夜间看护

老人进入危险区域 告警

标注水池、天台、配电房、马路边等高风险区域,老人靠近或进入即预警,及时干预、避免走失与意外。

危险区标注边界预警防走失

老人语音求助 / 语音交流 大模型

房间麦克风阵列随时可呼叫:"我有点不舒服"即被识别为求助意图,自动通知值班护士并同步生成护理记录,老人不必找手机、不必按按钮。

语音唤醒意图识别双向对话
DAILY TIMELINE

每日时间线,自动生成

零散的 20 项能力,落到值班室只需要一条线:几点发生、系统怎么判、谁去处置、有没有闭环。当天所有点位的判断在次日 00:05 由大模型自动归并成一条时间线,不用人写。

2026-10-20周二 · 敬老院 + 小区 + 校园 共 38 路
已生成 00:05 1,284 条原始记录 → 6 条时间线节点
02:14

夜间离床

201 房老人起夜后 18 分钟未返床,系统提醒巡查。

护理员 3′ 到场
07:40

长时间无活动

305 房卧床姿势 40 分钟无变化,触发主动关怀。

核实为正常睡眠
10:05

语音求助

活动室老人说“我有点不舒服”,意图识别后自动派单。

护士 2′ 到场
13:30

消防通道占用

B1 车库纸箱堆放遮挡安全出口,触发消防合规告警。

10′ 清空闭环
19:32

楼道人员聚集

3 号楼楼梯聚集 N=6,持续 4′12″,物业到场疏导。

已处置
21:14

疑似翻越围墙

西侧围墙 1 人翻越,安保 2 分钟到场核查。

核查后归档
AI 生成摘要

全天 1,284 条识别记录归并为 6 条需关注事件:长者关怀 3 条(凌晨离床、上午久卧、语音求助)、安全事件 3 条(消防通道占用、楼道聚集、周界翻越)。全部已闭环,平均响应 2′40″,无未处置项;夜间 22:00–06:00 无异常。

1,284 原始记录 6 时间线节点 6 已闭环 2′40″ 平均响应 3.2s 生成耗时 每天 00:05 自动生成 · 可导出 PDF / 推送值班群
PIPELINE

从摄像头到一条可处置的告警

不更换前端设备,复用现有网络摄像头:抽帧与切片 → 多模态大模型理解 → 事件与规则引擎 → 推送到人 → 沉淀为日报。

01

摄像头接入

RTSP / ONVIF 接入现有枪机、球机与门禁摄像机,支持多路并发。

02

抽帧与切片

按秒级抽帧,事件触发时自动截取前后片段,避免全量上云。

03

大模型理解

视觉检测 + 多模态语义判断:谁、在哪、在做什么、是否异常。

04

事件与规则

按区域、时段、等级去重合并,生成可追溯的结构化事件。

05

通知与日报

App / 短信 / 企业微信推送,次日自动生成安全事件日报。

DAILY REPORT

每日安全事件报告,自动生成

每天固定时间汇总当日全部事件:按小时分布、按类型统计、按等级排序,附处置状态与一段自然语言总结,可直接推送给物业、院方或校方值班负责人。

2026-10-19 安全事件日报 12 路在线 · 生成于 08:00
47事件总数
6高优先
41已处置
38s平均响应
0006121823
今日共识别 47 起安全事件,其中高优先 6 起均已闭环。敬老院 201 房疑似摔倒事件,护理员在 2 分 12 秒内到场处置;西侧围墙夜间两次翻越告警经核查为员工加班出入,已加入白名单。
翻越围栏西侧围墙 · 已归档
高
人员聚集 N=63 号楼楼梯 · 已处置
中
疑似摔倒敬老院 201 房 · 已处置
高
车辆滞留 24 分钟地下车库 B 区 · 已归档
低
抽烟行为操场东侧 · 已处置
中
长时间无活动敬老院 305 房 · 已确认
中
BEYOND GUARD

同一套底座,向更多行业延展

看护守卫不是一条孤立的产品线,而是“感知 → 理解 → 生成”这套底座在安全场景的落地。下面这些能力同样在清单之内,按行业封装成行业包单独交付,与看护守卫共用一个后台。

7 项
CONSTRUCTION

工地与生产安全

面向施工现场与厂区,管人的防护穿戴、管机的作业半径、管区的危险边界。

安全帽反光衣烟火叉车接近临边防护人员离岗吊装警戒
6 项
INSPECTION

工业视觉质检

产线工位固定、光照可控,用同一套视觉底座做缺陷判定与尺寸核验,替代人工目检。

表面缺陷尺寸测量装配校验异物检测计数分拣字符打码
4 项
RETAIL

门店与商业分析

把门店已有的监控变成经营数据:来了多少人、停在哪、看得见服务规范有没有落地。

客流统计热区停留服务规范货架缺货
8 项
DOCUMENT

文档 OCR 与知识库

从画面到纸面:证照票据的结构化抽取、合同比对,以及基于企业私有资料的知识库问答。

证照识别票据抽取合同比对表单录入知识库问答会议纪要口述转写数据清洗
边缘 / 私有化算法在本地边缘盒子运行,可整体内网部署,不依赖公网。
数据不出场只上传事件切片与结构化结果,不做全量视频回传。
画面脱敏非必要场景默认人脸与门牌模糊化,仅授权名单可比对。
权限与留痕按角色分级授权,检索、导出、回放全程留痕可审计。