跨学科应用！GAN论文登上Nature子刊
点击下方“AI算法与图像处理”，一起进步！
重磅干货，第一时间送达
来源 | 量子位（QbitAI） 作者 | 博雯 梦晨 编辑 | 凹非寺
GAN这回玩了票大的，把手伸向了“人脑思维”。
没错，直接就是一个“合成思维”——生成用来喂给脑机接口的那种大脑活动数据。
作者表示，这是AI首次在该领域被应用。
并且这项技术一举把训练脑机接口系统提取、分析大脑信号的时间，提高了整整20倍。
此项研究来自南加大华人博士温士贤团队。
论文已发表在Nature子刊上。
而在我们与作者温士贤的深入交谈中，他表示会继续推进相关研究：
这项研究成果未来可以用于诸多神经解码问题上，自己也会继续在失眠、自闭症、多动症、阿兹海默症等疾病的个性化的干预和阻断上进行研究。
首次用AI合成“思维”
可是问题就来了，为什么要用AI去“伪造”神经活动数据呢？
直接用人类的不好吗？
还真不一定好。
比如，今年5月份登上Nature封面的意念打字研究，这位代号T5，全身瘫痪的老爷子是唯一的受试者：
模型所需的训练数据，就是这位老爷子在脑中一笔一画“写”出来的字母：
在脑海中想象文字的轨迹和手动书写本来就难度不同，而模型需要的还不仅是几个字母，而是大量重复的书写数据。
要让一位残疾人每天花几个小时去做重复任务，不仅辛苦，数据收集的速度和数据集最终的大小自然都非常有限。
而在要让算法解读神经活动信号的脑机接口，本身也是一个机器学习问题。
因此，算法效果当然会依赖于巨量训练数据的支撑，而在实际实验中，真不一定弄得到那么多数据。
就算有充足的可用数据，不同受试对象的神经元信号也存在差异。
一个人的数据训练出来的解码算法要应用到另一个人身上，就必须重头再来。
除此之外，就算是同主体上的解码算法的效果，也会随着时间推移而变差，需要定期重新校准。
更何况，有些最需要脑机接口帮助的残障人士，因神经系统损坏已经无法发送相应的信号了。
那么，要如何解决或者改善上面这些问题呢？
温士贤博士表示：
GAN就完事儿了。
让猴子玩贪吃蛇
这次研究的被试者是两只小猴子，它们需要完成的任务很简单。
屏幕上会有物体在随机位置出现，小猴子要用摇杆控制屏幕上的光标去接触这个物体。
结合论文的配图一看，大概类似于贪吃蛇？
小猴子手臂处植入的电极阵列会采集神经的运动控制（Motor Control）信号。
初级运动皮层的神经元会以1-2毫秒间隔释放100毫伏左右的间歇性脉冲，神经元每次激发就会产生一个峰值。
这种活动模式被叫做峰电位序列 （Spike Train）。
△真实神经元的峰电位序列
研究人员先用双向LSTM网络设计了GAN中的生成器和鉴别器，用采集到的神经数据加上随机高斯噪声来合成新的数据。
研究要解决的关键问题，是如何只用少量真实采集的数据来生产可用的合成数据。
△合成的峰电位序列
对于神经信号来说，合成数据的可用性面临两个问题：
不同个体产生的信号有不同模式，就连同一个体在不同时间的神经信号也会不同。
而之前的步骤就相当于预训练，下一步就是针对这些情况来微调。
结合另一只猴子或同一只猴子在不同时间采集的数据来作微调，最终产生大量可适用于不同情况的峰电位序列。
最后一步就是验证用少量真实数据+大量合成的数据训练脑机接口解码器，以验证效果。
最终他们只用不到1分钟的真实数据加上合成数据，就能当20分钟的真实数据用。
论文最后提到，虽然这次研究只实验了猴子的运动控制信号，不过研究所用的方法是纯数据驱动的，不对运动控制问题有额外的设计。
换句话说，这篇论文提出的方法是通用的，如果用于其他神经的编码解码问题，只需要做最小限度的修改即可。
论文第一作者温士贤在与杜克大学脑机接口专家Miguel Nicolelis合作的另一项研究中还做了让小猴子玩跑步机的实验。
温士贤表示，这是AI第一次用于合成思维或运动信号，能推进脑机接口技术的进一步应用落地。
不过还有最后一个问题，以猴子为实验对象做出来的方法能不能迁移到人类身上？
在与量子位的交流中，温士贤认为仅从解码算法的角度来看问题不大，研究中已经考虑到了这一点。
更多的问题是脑机接口硬件和材料的设计问题，比如设备和人类生物细胞的兼容度，还有采集芯片怎么快速和安全的植入到正确的位置等。
“脑机接口的重点还是科学”
论文的一作温士贤本科毕业于北京交通大学，现在是一名南加州大学维特比工程学院的博士生，就读于计算机系，主要研究方向是AI和神经科学。
而他的导师是南加州大学的计算机科学，心理学和神经科学的副教授Laurent Itti。
Laurent Itti主要研究视觉注意、场景理解、眼球运动控制等领域，同时也是多个开源的神经形态视觉软件工具包的开发者。
脑机接口其实并不是导师Itti的主要研究方向，神经科学一开始只是温士贤自己的兴趣。
在研究生期间，又一次他看到杜克大学脑机接口专家Miguel Nicolelis教授著名的TED演讲，介绍了他们如何用脑机接口帮助一个瘫痪青年用意念在巴西足球世界杯上开了第一球。
后来更是有机会到Nicolelis教授的实验室实习，这一实验室的研究成果中，有很多通过脑机接口技术帮助残疾人的案例。
这算是我第一次和脑机接口“结缘”。
而这次的论文是温士贤自己拉来日内瓦大学和美国西北大学的研究者一起合作完成。
现在，温士贤即将博士毕业，而他也选择继续在AI+神经科学的方向从业。
目前他已经面试了一些国内的大学和研究机构，以及当红的脑机接口公司，已经拿到一些不错的Offer。
而关于脑机接口，神经科学的行业现状和趋势，温士贤表示：
脑科学的市场本身有巨大的需求，比如Neuralink的脑疾病治疗、Apple的mental health评估、Meta的Ctrl lab在元宇宙中改善人机交互的硬件等等。
所以它的重点还是科学，而不是比谁的市场化做的更好。
因此，这种商业模式是最有利于我们这种科研人员创业的。
论文地址：
https://www.nature.com/articles/s41551-021-00811-z
参考链接：
[1]https://viterbischool.usc.edu/news/2021/11/deepfaking-the-mind-could-improve-brain-computer-interfaces-for-people-with-disabilities/
[2]https://www.stat.cmu.edu/~kass/papers/SpikeTrain.pdf
交流群
欢迎加入公众号读者群一起和同行交流，目前有美颜、三维视觉、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群
个人微信（如果没有备注不拉群！） 请注明：地区+学校/企业+研究方向+昵称
下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：终身受益的编程指南：Google编程风格指南
在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！
下载3 CVPR2021 在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文
