【导读】近期，来自洛桑联邦理工学院的探究团队提出了一种崭新的 步骤， 能够用AI从大脑信号中提取视频画面 。论文已登Nature，却遭网友疯狂‘打假’ 。

现在，AI不只会读脑，还会预测下一个画面了！

利用AI，一个探究团队‘看见’了老鼠眼中的电影世界 。

更神秘的是，这种机器学习算法，还能揭示大脑记录数据中 潜藏的 构造，预测复杂的信息， 比方老鼠会看到的东西 。

给一段上世纪60年代黑白老电影中截取的视频画面：一个男子向汽车跑去， 打开了后备箱 。

小鼠看过电影片段后，AI通过 综合其脑部数据，竟把画面重构出来了 。

能够说， 几乎与电影原作 统一，是否很神秘？

近日，来自瑞士洛桑联邦理工学院的团队在Nature上提出了一种名为CEBRA的最新算法，就把AI读脑给实现了 。

最最最主要的是，精确率超过了95%！

论文地址：https：//www.nature.com/articles/s41586-023-06031-6

这一人工神经网络模型仅用了三步，首先 综合和解释行为/神经数据， 而后解码来自视觉皮层的 运动，最后重建观看的视频 。

CEBRA的 意思在于， 能够对来自视觉皮层的视频进行 快捷、高精度的解码，这关于 了解人类大脑 运动来说， 意思重大 。

网友调侃，各地的 思维犯罪指数，会怎么样？

CEBRA，从小鼠的大脑信号中预测电影

此前，这种‘AI读脑术’就曾在网上激发轩然大波 。

一篇CVPR2023论文称，Stable Diffusion已经能重建大脑视觉信号了 。

AI看了一眼人脑信号后，立马就给出下面这样的 后果 。

而在这次的探究中，科学家们更进了一步，新算法构建的人工神经网络模型，不只能 捉拿大脑动态、精确地重构画面，还能预测出小鼠能看到的东西 。

另外，它还 能够用来预测灵长类动物手臂的运动，重建老鼠在场地中 自由奔跑的位置 。

这种新型的机器学习算法名为CEBRA (与zebra同音) ， 能够学习神经代码中的 潜藏 构造 。

为了了解小鼠视觉系统中的 潜藏 构造，CEBRA 能够在一个初始的训练阶段后，直接从大脑信号中预测看不见的电影画面，绘制大脑信号和电影 特色 。

具体来说，CEBRA是基于对照学习实现的一种机器学习算法 。

CEBRA提供了三种不同的模式：1 假如驱动模式2 发现驱动模式3 混合模式

它 能够学习将高维数据罗列或嵌入到一个称为隐空间(latent space)的‘低维空间’中 。

这样做就 能够实现， 类似的数据点密切相连，而差别大的数据点就会进一步 拆散 。

这种嵌入模式可用于判断数据中的 潜藏关系和 构造 。它使探究人员 能够同时考量神经数据和行为标签，包含运动， 形象标签(如 嘉奖)，或感官 特色(如图像 色彩或纹理) 。

老鼠‘读脑术’

怎么将小鼠脑中的画面重现呢？

探究者 招集了50只小鼠，让它们一起观看一段30秒的电影片段，并将这个过程 反复了9次 。

在小鼠看电影时，探究者就会把探针插进小鼠的大脑视觉皮层区域，收集它们的神经元 运动信号 。这个过程，也便是我们 相熟的脑机接口(BMI) 。

这个过程中用到的探针有两种：

一种是通过插入小鼠大脑视觉皮层区域的电极探针直接测量，另一种是通过光学探针在基因革新的小鼠中猎取 。这些光学探针 通过革新，使激活的神经元发出绿光 。

而后，探究者通过CEBRA，将这些神经信号与600帧电影片段 联络起来， 构建起两者中间的映射 。

有了前面9次观看的记忆 强固 加强后，探究人员又让小鼠观看第10次，并收集了这一次观看时的大脑 运动数据 。

将CEBRA 利用于小鼠初级视觉皮层

基于这些大脑数据，探究人员测试了CEBRA在预测电影片段中画面顺序方面的 威力 。

后果发现，CEBRA 能够在1秒内以95%的精确率预测下一个画面 。

人类大脑，终极 指标

将行为动作映射到神经 运动，向来是神经科学的一个 根本 指标 。

然而，探究者们向来不足 能够灵 便捷用联合行为和神经数据揭示神经动力学的非线性技术，而CEBRA算法，填补了这一空缺 。

并且，CEBRA还 能够用于空间映射，从而揭示复杂的运动学 特色，还能提供对来自视觉皮层的自然视频的 快捷、高精度的解码 。

具体来说，探究者提出了一个联合训练的潜在嵌入框架 。

CEBRA利用消费者定义的标签或仅限 工夫的标签， 获得了 统一的神经 运动嵌入，可用于可视化数据和解码之类的下游 使命 。

这个算法基于的对照学习，正是利用 彼此对照的样本(正样本和负样本)来找到一起属性和 划分属性 。

使用CEBRA实现 统一且可解释的嵌入

CEBRA的优势就在于它的灵便性，以及有限 假如和 测验 假如的 威力 。

关于海马体， 能够 假如这些神经元代表空间， 因而行为标签 能够是位置或速度(图2a) 。

另外，还 能够有一个 代替 假如：海马体不映射空间，而只不过映射 前进方向或 其余一些 特色 。

使用CEBRA的 假如和发现驱动 综合

论文一作Steffen Schneider称，与 其余算法相比，CEBRA在重建合成数据方面 体现出众，这对照较算法至关主要 。

它的优势还在于， 能够跨不同模式组合数据， 比方电影 特色和大脑数据 。它还有助于 制约 细微差别， 比方收集数据收集 模式对招致数据 变迁 。

从小鼠视觉皮层区域解码自然视频 特色

‘这项工作朝着神经技术实现高性能BMI所需的 实际 支撑算法，又迈出了一步，’EPFL的Bertarelli综合神经科学主席兼该探究的PI Mackenzie Mathis说 。

探究者称，CEBRA在视觉皮层惟独不到1%的神经元的状况下 体现良好 。要晓得小鼠的大脑大概有50万个神经元构成 。

CEBRA的最后 指标，是揭示复杂系统中的 构造 。因为大脑是我们宇宙中最复杂的 构造，它是CEBRA的终极测试空间 。

CEBRA还 能够让我们了解大脑是如何 解决信息的，并通过整合动物，甚至 其余物种的数据，为发现神经科学的新原理提供一个平台 。

固然，CEBRA算法并不只限于神经科学探究，因为它 能够 利用于许多 波及时偶尔联合信息的数据集，包含动物行为和基因 抒发数据 。 因而，CEBRA潜在的临床 利用令人兴奋 。

网友质疑：这能叫读心术？

网友称，AI重现大脑画面的探究，这不是首次 。

在11年，UC伯克利的一项探究 使用 性能磁共振成像(fMRI)和计算模型，初步重建了大脑的‘动态视觉图像’ 。

也便是说，探究者重现了人类大脑看过的片段，但 几乎是 无奈辨别 。

不过，关于这项AI解析小鼠大脑信号、 顺利重构出观看的电影片段，网友纷纷 示意质疑 。

‘我并非想 贬斥这项出众的工作，但这不是从老鼠看到的东西中制造视频，而是匹配哪一帧视频最 相符模型解释目前帧的内容，所以．．．．．．它不是产生视频数据，而是一个帧号， 而后在屏幕上显示该帧 。这个区别很 奥妙，但很主要 。’

同样看过视频后的网友指出了问题——

‘这个视频有点误导人 。它并不像你看到全部这些扩散模型后所想的那样， 彻底从头开始构建 。这个特定的模型只看过这个视频，并且只不过将不同的帧映射到脑信号上 。所以这并非是读心术 。’

‘这个说法是不精确的，并没有视频被生成 。它只不过在 充足了解视频的状况下，预测了正在观看的视频的 工夫戳 。’

免责声明：凡标注转载/编译字样内容并非本站原创，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。