实验者进行脑机上肢康复设备演示 本报记者 陶磊 摄
实验者进行镜像手康复设备演示
走进华东理工大学信息大楼4楼的一间实验室，一次“脑机接口”的实验开始了：只见实验者头戴装满感应器的头套，打开电脑，屏幕上一块块方格不断闪烁。他不动手指，心念所及，方格便停顿下来，显现他所想的事情。于是，只通过眼睛注视，他就能开空调、调温度，甚至操纵无人机飞行……这既不是魔术表演，也不是科幻情节，而是华理金晶教授领衔的脑机接口及控制团队正在开展的一项应用创新——“全流程自适应生成式脑机接口系统”。
记者请实验者在电脑里展现《新民晚报》的信息。他微微一笑，手指没有触动电脑，仍是依靠“心中一动”，“新民晚报”4个字便跃然于屏幕之上。
这个实验室名为“能源化工过程智能制造教育部重点实验室”，其下属脑机接口及控制团队聚焦于新一代神经工程学基础理论与关键技术，重点面向医疗康复、人机工程等重大领域的工程技术攻关，围绕脑信息处理、智能康复机器人、外骨骼系统等方面，以探索新范式、新方法、新技术为着手点，在脑机接口系统的诱发范式、识别模型及其临床应用方面开展了一系列研究工作。这项实验是华理脑机接口及控制团队携手百度文心打造的升级版脑机系统。
何为脑机接口？
说起脑机接口技术，由于硅谷“钢铁侠”马斯克的亲自下场，大家可能对此不太陌生，但就该领域的发展而言，我们仍像看科幻电影一样，感觉有些难以置信。
那么，什么是脑机接口？金晶解读道，简单地说，脑机接口就是在大脑和外部设备之间建立的直接连接通路。我们的大脑在活动时会产生很多信号，这些信号就是让我们行动的指令，通过脑电帽捕捉到信号后，就可以把它们解码转化成计算机能够识别的指令，继而去操纵外部设备，例如义肢、轮椅、语音合成器等。试想一下，在这项技术的支持下，即使是瘫痪人士，也能“隔空”操作电脑甚至开车。
正因如此，脑机接口技术成为公认的新一代人机交互和人机混合智能的关键核心技术，被誉为人脑和外界沟通交流的“信息高速公路”，其发展将给医疗、养老、康复和人机交互等领域带来革命性改变。
如何突破瓶颈？
但是，这些不可能一蹴而就。
以现有的脑机接口系统为例，虽然其指令数量可达几十个甚至上百个，但面对真实而复杂的应用时，仍显得“脑容量”不够，要将复杂场景一一“拆解”，进行定制化的控制交互系统设计，而不能像万能钥匙一样，实现脑机接口系统与实际应用场景的自适应匹配，这就大大限制了它的灵活性和实用性。
为此，金晶带领的脑机接口及控制团队提出了脑机语言输出系统与大语言模型结合的新技术思路，以生成式人工智能技术实现基于用户意图的多语言、多场景脑机接口系统自主构建。团队研发的“全流程自适应生成式脑机接口系统”引入了语言大模型，突破了瓶颈，使脑机接口系统不再受限于指令数量，而是能够灵活匹配各类应用场景，帮助用户真正做到“心想事成”。
“用户能够通过脑机语言交互系统表达自己的控制意图，文心大模型则会对用户的意图进行理解并实现应用对象匹配，最终完成面向目标场景的系统自适应生成。”金晶说。
具体来说，这个系统的工作过程主要包括：在脑机接口系统中植入大语言模型后，用户可以通过目光的注视（心中一动）使用脑机语言交互模块来输入需求，然后系统将需求信息发送到文心大模型Ernie Bot SDK，大模型会对用户的需求进行语义理解，据此获取相关设备信息，再通过被控对象的接口匹配，生成适应不同场景的控制界面，来操作智能家居、无人机等目标设备。
怎样继续优化？
值得一提的是，这个全流程自适应生成式脑机接口系统不仅具有智能化、个性化、动态生成的特性，还能实现多语言、多场景的灵活匹配控制和交互，实现人脑智能和机器智能的深度融合，做到“脑控联万物”。
“虽然有理由期待，有一天人脑和机器的互动会像用手机一样平常，但通往这个目标的道路上还有很多难题。下一步，我们的系统将基于用户的使用数据和偏好，进一步优化脑机交互范式，提供更符合用户习惯的操作模式。”金晶表示。
百度合作方负责人进一步指出：“这一系统框架的提出，将为脑机接口技术开辟更多潜在应用，推动其在医疗、智能制造等多个领域的创新与发展。”
视频链接：https://v.xinmin.cn/uploads/videos/2024/12/05/AWYO604653.mp4
原文来源: 新民晚报 | 发表时间:2024-12-05 | 作者：张炯强