学术发布 | “环太平洋”机甲即将实现?一项多脑与多机器人交互端到端控制系统的研究探索

BrainLink

发布于:2024-05-06

摘要:BRIEDGE在实现多脑与多机器人交互和协作任务方面,迈出了重要的一步。

你是否还记得,当你第一次看到《环太平洋》这部电影中,那场机甲驾驶员戴上脑控头盔,通过神经链接彼此来操纵巨型机甲的炫酷情节?在这部电影设定中,操控庞大人形机甲需要巨大的精神力量,因此大多数机甲都需要多名经过严格训练的驾驶员建立大脑同步链接来控制。


这种同步链接不仅考验驾驶员的心理力量,也考验他们之间大脑和心灵的协作默契。而这个有趣的设定不仅为系列电影奠定了扎实的主题,也启发了许多现实科研实验。


近期湖南大学的一项研究实验,结合了多人大脑脑波信号和多机器人交互,新系统名为BRIEDGE。这个系统基于脑电图的生物识别(BCI)技术,揭示了大脑与机器人协作的潜力,通过传感、计算、通信和控制的整合实现。


BRIEDGE可被描述为一个端到端系统,通过脑电图自适应神经网络和编码-解码通信框架,实现多脑与多机器人的交互。


该系统利用边缘移动服务器或便携服务器收集用户脑电图数据,然后通过脑电图自适应神经网络识别用户意图。接着,编码-解码通信框架将基于脑电图的语义信息编码,并在数据传输中解码成命令。为了更好地提取脑电图数据的联合特征并提高分类准确性,BRIEDGE引入了基于线人的ProbSparse自我关注机制。


同时,通过动态自动编码器和自动解码器的通信,解决了多用户多任务场景下的并行和安全传输问题。而在移动计算和边缘人工智能方面,通过模型压缩方案(如剪枝、权重共享和量化),部署了轻量级脑电图自适应模型在发射端和接收端运行。这些组件的有效性使代表各种命令的代码图能够让多用户同时控制多个智能代理。


BRIEDGE系统的操作流程如下


各种脑电图设备用于采集脑电信号,这些信号被传送至边缘移动服务器或便携服务器进行编码,然后编码后的信号发送给多个机器人进行解码和执行指令。系统架构由脑电信号收集、特征传输以及代理执行构成,形成了一个端到端的系统。


在脑电信号采集阶段,不同用户佩戴不同数量电极的脑电图可穿戴耳机(BrainLink Lite、BrainLink Pro & Emotiv Epoc),采集他们的脑电信号,并将其传输到发射模块。每个原始脑电图数据在特定采样间隔内采集,并以十进制格式表示。


由于不同设备采集的脑电图数据不同,通道数和特征维度各异。这些数据根据大脑活动类型进行标记和分类,然后输入预处理算法进行下采样和高斯噪声增强。


当经由无线信道传输的脑电信号到达接收模块时,进入代理执行阶段。接收模块嵌入在每个机器人中,包括边缘智能代理、指令代码图和机器人动作。接收器的信号由语义解码器解码,然后由信道解码器解压缩解码后的信号。


随后,根据代码图,BRIEDGE将这些识别的信号映射成相应的指令,并发送给指定的机器人。机器人根据指令执行相应动作,从而完成脑电图任务。


另外在文中作者还从系统的稳定性,交互性,和用户体验等多个维度进行人群实验,采集数据和问卷。结果表明了系统在分类和通信性能方面的卓越表现,展示了系统有效处理异构输入数据和通信损耗挑战的能力,并维持数据安全性的稳健性。


这篇论文详细介绍了BRIEDGE系统的设计、实施和评估。BRIEDGE是一个通过脑电适应性神经网络和编解码通信实现多用户与多机器人交互的系统。该系统考虑了异构脑电图数据的联合特征提取,并解决了多用户和多任务场景下的并行传输问题,以实现性能的最大化。此外,通过采用模型压缩机制,BRIEDGE能够轻松部署在边缘人工智能上。


研究评估结果显示,BRIEDGE在分类准确性和信号传输等方面均优于其他基线系统。研究者相信,BRIEDGE在实现多脑与多机器人交互和协作任务方面迈出了重要的一步。这项研究的成果表明了BRIEDGE系统在将大脑和机器人联合起来进行任务执行方面的潜力和优势,为未来的多脑多机器人系统研究和应用提供了有益的启示。



 论文标题 

BRIEDGE: EEG-Adaptive Edge AI for Multi-Brain to Multi-Robot Interaction

 作者 

Jinhui Ouyang, Mingzhu Wu, Xinglin Li, Hanhui Deng, Di Wu

 URL 

https://arxiv.org/html/2403.15432v1


BrainLink 学术专栏介绍

BrainLink学术专栏汇聚了全球顶尖学府和研究机构的力量,包括马克斯·普朗克伦敦大学学院(UCL)、南加州大学(USC)、加州大学圣迭戈分校、密苏里大学、多伦多大学(UofT)、维多利亚大学(UVic)、西蒙菲莎大学(SFU)、汉堡大学、Lunex国际健康运动与体育大学、国立台北大学、韩东环球大学、IBM研究(IBM Research)、清华大学、北师大、华中师范大学等海内外大学和科研机构等。


平均每月均有1-2篇采用了宏智力的产品和服务的学术论文发布在IEEE、ACM、Nature等各大学术平台。本专栏已从中精选30余篇进行报道,详情见 往期学术发布 。


未来,我们将扩充和深化专栏内容,搜集并发布更多与学术研究相关的专业知识。继续将BrainLink在学术领域的最新突破和进展呈现给读者。


为此,我们热忱欢迎更多的相关机构、学者以及各界人士加入我们,共同分享您在BrainLink学术研究方面的见解与成果,一同为学术进步贡献力量。(联系文末企业微信@小宏)

· 往期学术发布

清华大学使用BrainLink用于虚拟人的交互研究

美密苏里医学院采用BrainLink + VR缓解癌痛的研究

台湾科技大学使用BrainLink Lite进行情感计算的研究

欧美团队使用BrainLink测量癫痫发作的准确性

BrainLink Lite与VR结合在疫情前线医务人员的应用场景

BrainLink Lite在运动神经康复科研领域的应用

巴西团队研究成果:脑电反馈帮助中风患者改善身体机能

华中师范大学开展关于在线课堂的学生注意力研究


—— END ——



以下是互动时间


《脑波作画》作品投票(第27期)


快来认领属于你的脑波作品!


赢取《禅定花园2》1000积分奖励(可用于积分商城兑换礼品)



本期认领的作品是由读者朋友投票选出。如果你是这幅作品的创作者,请在本文发布后的7天内,在评论区中认领并分享以下内容:


- 创作过程的简要概述

- 灵感的来源和作品的感受


成功认领后,你将获得我们特别准备的《禅定花园2》1000积分奖励。让你更愉快地享受脑波艺术的乐趣!


认领步骤:

1、本文章评论区分享创作过程及作品感受(7个工作日有效)。

2、评论区认领后截图+作品,发送至企业微信@小宏。

3、小宏确认认领成功后当天会发放奖品。


【本期作品揭晓】


本文内容来源于公众号: BrainLink ,请扫码查看原文。

点此可查看原文