当你想说话时,脑机接口就能从你的脑信号里直接“读”出想说的中文词语,并通过外部设备“讲出”,“意念发声”有望从科幻走进现实。
近日,由华中科技大学同济医学院附属同济医院神经外科舒凯教授与华中科技大学人工智能与自动化学院伍冬睿教授联手组建的医工交叉协同创新团队,首次提出了一种基于脑磁图的非侵入式中文语音脑机接口解码新范式,其成功构建了中文脑磁图数据集,并创新性地引入人工智能算法,首次成功实现了对中文词汇的高效脑信号解码,为失语症患者重获交流能力带来新的希望。该研究成果发表于神经工程领域顶级期刊《神经工程学杂志》。
舒凯介绍,语音脑机接口技术可将大脑的语言活动直接转化为语音信号,尤其适用于因中风、渐冻症等疾病失去语言功能的患者。然而,目前中文语音脑机接口研究极少,多集中在音节层面,且现有研究多依赖侵入式脑信号采集,存在手术风险,难以普及。
研究中,团队没有使用传统的脑电图技术路径,而是创新性地选用了国产原子磁力计脑磁图系统。舒凯解释,相对于脑电图,脑磁图技术具有高时空分辨率优势,能够以毫秒级精度捕捉大脑神经活动,同时兼顾较好的空间定位能力。对于汉语解码这种需要精确分析时间动态和脑区协作的任务,脑磁可以更清晰地解析语言处理中快速连续的神经信号,这是其他脑成像技术难以实现的。而且与形式相近的脑电相比,脑磁直接检测大脑神经元电活动产生的磁场,不受颅骨组织干扰,能更纯净地反映大脑原始活动,为解码提供更可靠的信号基础。
“如果说传统的脑电图像是在隔墙听模糊对话,脑磁图就如同拥有了一扇透明窗户,能更清晰地‘看见’大脑语言区的活动。”舒凯说。
研究过程中,团队邀请中文母语的健康受试者穿戴脑机接口帽,朗读48个日常生活和医疗场景高频词汇,构建了全球首个中文脑磁图语音数据集(Chinese-MEG 48)。同时,创新开发了多模态辅助解码算法,创新性引入“文本+合成语音”对比学习机制,引导AI模型训练,准确识别脑信号中的中文语义特征,最终实现46.21%的中文词汇解码准确率。
业内专家评价,通过医工交叉协同创新,同济医院的这一成果标志着我国在非侵入式中文脑机接口领域迈出了坚实的一步,是中文语音脑机接口领域的一次“从0到1”的突破,为失语症患者重获“中国声音”带来新的希望。随着技术不断成熟,非侵入式中文语音脑机接口有望走出实验室,为我国脑科学和智慧医疗发展贡献重要力量。
