Feature Reading

Radio Graph Encoder:为空间感知补上射频模态的端侧表示底座 | 前沿在线

将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。

Radio Graph Encoder:为空间感知补上射频模态的端侧表示底座 | 前沿在线
Sports Insight

当前位置

当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。

Radio Graph Encoder:为空间感知补上射频模态的端侧表示底座 | 前沿在线

编辑:前沿在线 编辑部 当前AI具身智能正在快速落地,但一个常被忽略的前提是: 具身智能要提供服务,首先得知道自己身处哪里。 而现有方案几乎完全依赖视觉——摄像头就是它的“眼睛”。 这双眼睛在暗光、烟雾、遮挡下会失效,在长廊、标准层、地下车库这类外观高度相似的区域里,也难以分辨自己究竟在哪一段、哪一层。 视觉之外,是否还有一条不依赖光照、不依赖外观差异的空间感知路径? 数位科技正在 围绕城市大尺度空间中的多源物理信号开展系统性研究 , 探索视觉之外的空间信息载体 ,推动感知能力从依赖光照与算力的单一模态,走向更稳健、更经济、更贴近端侧部署的多模态体系。 近日,其公司在射频场编码方向取得阶段性研究进展, 尝试用无处不在的射频信号,为AI具身补上这处感知盲点。 同时,甚至更重要的是:在不同物理量场的轻量级端侧编码器预训练研究阶段,通过对如何确保物理规律正确、高效地对齐并注入LM语义空间的研究,最终获得不同物理量统一的轻量级端侧场编码器,推动端侧对环境空间的低成本直觉感知技术发展。 城市空间射频场——被忽视的低成本高效模态 当前主流空间智能主要依靠视觉及其与文本对齐来认识世界,并实现了具身智能感知体系性能的巨大提升。 但这些模态在物理载体上同质——均为依赖视距的短波长电磁与光学测量;这一同质性连同对光照与算力的依赖, 制约了其在与人共存的城市空间端侧部署时的经济性、鲁棒性和安全性。 复杂城市环境里还存在其它相对独立的物理模态,同样可以作为空间结构等信息的载体,但不依赖这些条件。 如射频信号场(包含基站信号、WiFi、蓝牙等)存在于几乎每一个城市空间 ,不需要任何部署,不受光照影响,不受视距约束。 一个位置的射频信号场特征,由这个空间的格局和源决定 :哪里是实墙、长廊的差异、街道尽头有什么,甚至信号密度的差异本身也是空间的语义。而测量它,一部普通的手机就够了。 更近一步,空间信息载体并不限于射频场: 任何端侧可测物理场的稳态分布,都包含空间结构在其中的一种映射。 而只要一个准静态物理场满足源可枚举、独立观测、空间连续这几个条件,其编码方法应当是同构的。 探索各物理量场的统一编码和表示基座,是实现多模态感知 AI 原生接入(而不再硬编码为语义 token)、获得符合各类物理规律的场推断求解器的可能前提。 我们选择射频场作为第一个载体,是因为它几乎涵盖了常见的最难情况: 场的物理规律与源的身份无关、源数量不定、且单次观测是一个无序集合。 而这类数据长期存在,却始终没有进入多模态表示体系,原因在于缺少一种合适的表示。 已有的做法各有难以绕开的局限:传统建库方式把信号强度当作查表的键,存储对象为一次次观测而非场本身,观测库之外的位置以邻近观测近似,观测库随源或环境变化而失效;神经场把场表示为坐标的连续函数,丢掉了信号源离散的身份结构,也难以吸收新的观测;第三种做法把信号硬编码为语义 token,让表示失去了可以对照的物理对象。 我们尝试把"场"作为表示的直接对象,希望模型学到场由空间格局与源生成的物理规律。 场先于观测——射频场Encoder设计思路 场先于观测存在,一片空间中的射频场由空间格局与边界条件决定;任何一次扫描,只是对这片场的一次有限采样。 观测有先后、有疏密,沿着人和车能走的路径发生—— 这些特征由观测过程决定,不构成数据的缺陷。 因此Encoder需要压缩的对象是场本身;观测数据是通向场的中间产物,编码完成后可以丢弃,场必须被保留下来。 进一步看,场的信息在物理上并不均匀。 距离带来的平滑衰减是确定性的,容易表示;墙体遮挡造成的衰落是空间格局在场上的投影,是场中最有价值的部分,必须表示;而多径造成的逐点涨落发生在半波长尺度上,原理上无法从外部观测推断—— 把"试图记住这一层"直接定义为过拟合,并在结果验收中设置了对应的检查。 编码的目标聚焦为:学习场由空间格局与源生成的规律。 它是可以检验的——第二层被编码的程度、越过第三层的记忆迹象,在验收协议中设置具体的检查项。由此,编码器的设计约束及思路定为: 数据进入网络前的簿记(确定性预处理) ——采样、编号、切分、单位——全部留在模型之外,模型容量只用于承载场的规律。 模型满足端侧感知算力约束 ,实现观测现场在线的向量化编码和查询。 表示以信号源为单元, 一次观测中实际出现的源构成本次的临时匿名词表,每个源对应一个向量,表达它在已观测区域内的场分布。场的压缩靠"以源为单元"这个结构本身完成。 第四,任意观测子集统一编码。 场的连续性意味着观测集合的任意子集仍是有效采样。能正确处理任意观测子集的Encoder,天然统一两类使用形态:现场流式编码(对当前时刻及之前的观测历史编码)与事后回溯(对既有观测库编码)。 第五,弱读出、强表示。 读出器被刻意设计为一个逐源共享权重的窄网络,输入仅

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
上海东站即将建成,网友建议关停上海站,由上海西站承接客流
上海东站即将建成,网友建议关停上海站,由上海西站承接客流

上海东站还没有正式开门迎客,网上就已经有人在聊上海站以后怎么办了。 有网友提出,等上海东站建好之后,不妨把上海站关掉,原有客运功能转交给上海西站。这样一来,市中心的交通压力能小一些,上海西站也能多分担点客运任务。 乍一听,这个思路好像挺顺,但真要认真捋一捋,会发现情况远没有这么简单。 01 上海东站建成后,上海铁路会迎来什么变化 从目前公开的信息来看,东方枢纽上海东站预计在2027年7月建成并投入

凯莉·凯尔西谈育儿:不想要住家保姆,父母住在15分钟车程外
凯莉·凯尔西谈育儿:不想要住家保姆,父母住在15分钟车程外

凯莉·凯尔西和丈夫杰森·凯尔西看起来什么都有了,但这对体育界的明星夫妻,在带娃这件事上也得找人帮忙。 在10月14日播出的《IMO with Michelle Obama & Craig Robinson》播客节目中,凯莉谈到了他们的育儿安排。 她说:“我们不一定想要一个住家保姆,或者一个在我们缺席的情况下替我们养孩子的人。”谈到住家保姆这个选项时,她的原话是:“那感觉很奇怪。” 但她也承认,家里

果篮鼻祖?大将军:当年朝里弗斯竖中指后曾给他送果篮道歉
果篮鼻祖?大将军:当年朝里弗斯竖中指后曾给他送果篮道歉

直播吧10月16日讯 近日前NBA球星阿里纳斯、尼克·杨和埃文·特纳录制了《Gil's Arena》播客,在最新更新的一期里,他们谈到道格·里弗斯的相关话题。 阿里纳斯:你们根本不知道我当年有多愤怒(没当选东部全明星首发),当年皮尔斯在奇才主场投进过一个底角绝杀,如果把录像往回倒一个回合, 是我先投进了一个反超球,然后莫名其妙地朝里弗斯竖了中指, 就因为他是东部球队的主教练,我当时就是有那么愤怒。

赛会最年轻半决赛选手!西班牙新星三盘逆转,首进上海大师赛四强
赛会最年轻半决赛选手!西班牙新星三盘逆转,首进上海大师赛四强

10月16日,ATP1000上海大师赛1/4决赛继续进行。赛后12号种子霍达尔同20号种子鲁德上演了一场三盘大战。本场比赛西班牙新星霍达尔在先丢一盘的情况下,连扳两盘完成逆转,首次在上海大师赛闯入四强。 首盘比赛第9局鲁德化解了3个破发点顽强保发成功,随后他在第10局比赛完成了第一盘的唯一一次破发,6-4拿下了首盘比赛的胜利。 第二盘霍达尔在第3局率先完成破发,第4局鲁德迅速实现回破。第9局霍达尔

小米 17 大降价,澎湃 OS 4 正式版开推!
小米 17 大降价,澎湃 OS 4 正式版开推!

今年这波涨价潮,想必让不少想换机的米粉都打了退堂鼓。 低端机涨三五百,中高端机涨一两千都是常规操作了。 不过随着双 11 的临近,小米这边双 11 活动已经开始。 上代数字旗舰小米 17 系列迎来了大幅降价。 除此之外,澎湃 OS 4 正式版也正式开启了推送。 一起来看看。 小米 17 系列大降价 要说这次降价,最直接的目的就是给双 11 预热。 力度相当可以。 (图源小米) 先来看关注度最高的小