这里有一项针对婴儿的测试：给他们看桌上的一杯水。把水藏在一块木板背面。然后把木板移向水杯。淌若木板一直经过水杯，就好像水杯不存在相似，他们会感到讶异吗？好多六个月大的婴儿皆会感到讶异，到一岁时，险些扫数孩子皆和会过不雅察，对物体的执久性产生直观。面前，一些东谈主工智能模子也具备这种智力。
说合东谈主员配置了一种东谈主工智能系统，它不错通过视频了解全国，并在呈现与其所收罗的常识违抗的信息时线路出“讶异”的嗅觉。
该模子由 Meta 创建，名为“视频伙同镶嵌量度架构”（V-JEPA），它分腻烦频中包含的全国的物理特质作念出任何假定。尽管如斯，它仍然不错相连全国的运作神志。
Micha Heilbron默示：“他们的说法从表面上来说尽头合理，而况成果尽头真谛真谛。”（绽放新标签页）是阿姆斯特丹大学的贯通科学家，说合大脑和东谈主工系统如何相连全国。
更高线索的抽象正如自动驾驶汽车的工程师们所知，让东谈主工智能系统可靠地相连它所看到的内容并非易事。大多量旨在“相连”视频的系统，要么对视频内容进行分类（举例，“一个东谈主在打网球”），要么识别物体的轮廓（举例，前列有一辆车），它们在所谓的“像素空间”中责任。这些模子骨子上将视频中的每个像素皆视为同等进犯。
但这些像素空间模子存在局限性。思象一下，试图相连一条郊区街谈。淌若场景中有汽车、交通讯号灯和树木，模子可能会过于关心不相关的细节，举例树叶的清爽。它可能会错过交通讯号灯的心思或近邻汽车的位置。“当你处理图像或视频时，你不会思在[像素]空间中责任，因为有太多你不思建模的细节，”兰德尔·巴莱斯特里罗说。（绽放新标签页）布朗大学缠绵机科学家。
纽约大学缠绵机科学家、Meta 东谈主工智能说合主任 Yann LeCun 于 2022 年创建了 JEPA，它是 V-JEPA 的前身，用于处理静态图像。
巴黎萨克雷抽象理工大学
2024 年发布的 V-JEPA 架构旨在幸免这些问题。诚然组成 V-JEPA 的各式东谈主工神经聚集的具体细节很复杂，但其基本见解却很肤浅。
无为的像素空间系统会资格一个慎重经由，包括掩蔽视频帧中的某些像素，并慎重神经聚集来量度这些被掩蔽像素的值。V-JEPA 也会掩蔽部分视频帧。但它不会在单个像素的层面上量度掩蔽区域背后的内容。相反，它使用更高线索的抽象，或“潜在”默示，来对内容进行建模。
潜在表征仅拿获数据的基本细节。举例，给定各式圆柱体的线条图，一个称为编码器的神经聚集不错学习将每幅图像养息为代表每个圆柱体基本特征的数字，举例其高度、宽度、标的和位置。通过这种神志，数百或数千个像素中包含的信息被养息成几个数字——即潜在表征。然后，一个称为解码器的孤独神经聚集学习将圆柱体的基本细节养息为圆柱体的图像。
“全国模子”——东谈主工智能鸿沟的一个陈旧见解——卷土重来
东谈主工智能“全国模子”——东谈主工智能鸿沟的一个陈旧见解——卷土重来
V-JEPA 专注于创建和重现潜在表征。从高线索来看，该架构分为三个部分：编码器 1、编码器 2 和量度器。最初，慎重算法得回一组视频帧，在扫数帧中屏蔽相通的像素集，然后将这些帧输入编码器 1。有时，视频的临了几帧会被全皆屏蔽。编码器 1 将这些屏蔽的帧养息为潜在表征。该算法还将未屏蔽的帧竣工地输入编码器 2，编码器 2 将它们养息为另一组潜在表征。
面前，量度器运转线路作用。它使用编码器 1 生成的潜在默示来量度编码器 2 的输出。骨子上，它聘请由掩码帧生成的潜在默示，并量度由未掩码帧生成的潜在默示。通过重建相关的潜在默示，而不是早期系统中缺失的像素，模子学会了识别谈路上的车辆，而不是关心树叶。
昆汀·加里多 (Quentin Garrido)默示：“这使得模子偶然丢弃不消要的信息，并专注于视频中更进犯的方面。”（绽放新标签页），Meta 的说合科学家。“丢弃不消要的信息尽头进犯，这亦然 V-JEPA 旨在高效完成的事情。”
预慎重阶段完成后，下一步是对 V-JEPA 进行定制，使其偶然完成特定任务，举例对图像进行分类或识别视频中刻画的行为。此得当阶段需要一些东谈主工标识的数据。举例，视频必须添加与其所含行为相关的标识信息。比拟于针对特定下贱任务对通盘系统进行端到端慎重，最终任务所需的标识数据要少得多。此外，相通的编码器和量度器聚集不错得当不同的任务。
直观师法者本年 2 月，V-JEPA 团队论述称（绽放新标签页）他们的系统如何相连现实全国的直不雅物理属性——举例物体的长久性、局势和心思的恒定性，以及重力和碰撞的影响。在一项名为“IntPhys”的测试中（绽放新标签页）需要东谈主工智能模子来识别视频中发生的行为是否得当物理逻辑，V-JEPA 的准确率接近 98%。而一个著名的像素空间量度模子的准确率也只比立时概率高少许点。
自主机器东谈主需要访佛物理直观的东西来指标其行为并与物理环境互动。
V-JEPA 团队还明确量化了模子在量度与不雅测成果不符时线路出的“讶异”。他们聘请一个在当然视频上预慎重的 V-JEPA 模子，输入新的视频，然后用数学关节缠绵 V-JEPA 预期在视频畴昔帧中看到的内容与施行发生情况之间的相反。团队发现，当畴昔帧包含物理上不行能发生的事件时，量度差错会急剧飞腾。举例，淌若一个球滚到某个遮拦物体背面并暂时从视线中隐匿，那么当球在畴昔帧中莫得从该物体背面再行出当前，模子就会产生差错。这种响应访佛于婴儿的直观响应。不错说，V-JEPA 感到很讶异。
海尔布隆对 V-JEPA 的智力印象长远。“咱们从发育文件中得知，婴儿不需要太多斗争就能学习这类直观物理学，”他说。“令东谈主深信的是，他们评释了这些直观物理学是不错学习的，而况你不需要具备扫数这些先天的先验常识。”
卡尔·弗里斯顿（绽放新标签页）伦敦大学学院的缠绵神经科学家合计，V-JEPA 在师法“咱们大脑学习和建模全国的神志”方面走在了正确的谈路上。相关词，它仍然枯竭一些基本成分。“面前的决策枯竭的是对不笃定性的得当编码，”他说谈。举例，淌若往日帧中的信息不及以准确量度畴昔帧，则量度是不笃定的，而 V-JEPA 并莫得量化这种不笃定性。
6 月，Meta 的 V-JEPA 团队发布了其下一代 12 亿参数模子V-JEPA 2（绽放新标签页）该模子已基于 2200 万个视频进行预慎重。他们还将该模子诓骗于机器东谈主工夫：他们展示了如何仅使用约 60 小时的机器东谈主数据（包括机器东谈主视频偏执行为信息）进一步微调新的量度聚集，然后使用微调后的模子来指标机器东谈主的下一步行为。Garrido 默示：“这么的模子不错用来惩处肤浅的机器东谈主操作任务，并为畴昔在该标的的说合铺平了谈路。”
为了股东 V-JEPA 2，该团队假想了一个更难的直不雅物理相连基准，称为IntPhys 2（绽放新标签页）在这些更严格的测试中，V-JEPA 2 和其他模子的线路仅略好于立时概率。Garrido 默示，原因之一是 V-JEPA 2 只可处理大要几秒钟的视频输入，并量度畴昔几秒钟的情况。更长的时候会被渐忘。你不错再次将其与婴儿进行比较，但 Garrido 心中思的是一种不同的生物。“从某种意旨上说，该模子的挂念让东谈主思起了金鱼，”他说。
