简介：十年研究
十年前，一群来自学术界和工业界的研究人员发现了上肢假肢控制领域中的工业和学术最新技术之间存在的对立。他们提出，如果解决了四个关键技术挑战，就可以弥合这个差距，使学术研究能够转化为临床和商业可行的产品。这些挑战包括非直观的控制方案、缺乏传感反馈、鲁棒性差和单一传感器模态。在这里，我们对过去十年针对这些挑战的研究工作进行了综述，并讨论了最近在上肢假肢控制研究中至关重要但在十年前的综述中没有预见到的三个研究领域：深度学习方法、表面肌电图解析和开放源数据库。为了总结这篇综述，我们展望了上肢假肢控制及其他相关研究在不久的将来的发展前景。
表面肌电图是骨骼肌活动的电学表现。它包含着丰富的神经控制信息，并且已被用作生物机器人和类似应用的非侵入式接口，比如多功能动力假肢、外骨骼、功能性电刺激器、虚拟现实和增强现实。从更广泛的意义上来说，sEMG在建立直观、方便和可访问的非侵入性神经接口中起着核心作用。这种接口可以用作通用人机接口(HMI)，其潜在应用范围从医疗和健康应用，包括神经康复、神经肌肉疾病的诊断和肌肉的生理监测状态(例如疲劳或损伤)，到非医疗应用，例如机器人设备的远程操作、元宇宙接口和主动生物识别。与侵入性方法相比，sEMG不仅使用方便且健康风险显著降低，而且在临床环境之外的实际应用中得到了很好的确立。
sEMG最显著和最普遍的应用是电动多功能假肢，通常称为肌电控制。经过几十年的研究和开发，EMG控制的上肢假肢已经成为临床和商业上可行的产品，为全世界数百万截肢者服务。然而，十年后，商用sEMG控制的假肢在被截肢者中的普及率没有显著变化，有研究表明大约一半的上肢被截肢者在大量训练后放弃了该设备。很显然，学术界的研究重点与行业和设备终端用户的需求之间存在巨大差距。
2012年，一群来自假肢行业的学术研究人员和专家研究了当时肌电控制领域的学术研究与假肢行业之间的差距。这篇综述论文呼吁转移该领域的研究重点，并确定了阻碍学术研究转化为工业应用的四个关键问题:(I)模式识别算法提供的顺序和开/关控制方案对用户来说不直观；(ii)缺乏感觉反馈导致开环控制方案；(iii)算法对于日常生活活动中普遍存在的非平稳因素缺乏鲁棒性；以及(iv)即单独的sEMG，为用户提供了有限的功能和高精神负荷。
在过去的几年中，EMG处理和肌电控制的最重要的发展之一是使用sEMG分解和分解的运动单位动作电位序列作为控制源。此外，深度学习(DL)算法的爆炸式发展在几年前也并未被大部分人所预测到。使用DL方法的研究表明，与传统的“基于特征”的算法相比，DL方法在多个方面的性能都有显著提高。两篇综述论文的作者没有提到的另一个方面是，开源sEMG数据集的可用性。这些数据集极大地降低了在sEMG处理和肌电控制领域进行研究的障碍，使以前无法访问专用实验基础设施的研究人员能够进行sEMG算法开发基础设施。此外，通过使用相同数据集的测试和验证，不同sEMG算法的客观和有意义的比较成为可能。
过去大部分的工作都集中在桡侧截肢者的肌电控制上，而对肱侧截肢者的研究较少。对于经肱骨截肢者来说，最大的挑战之一是肌电控制的残余肌肉越少，假肢控制的自由度就越多。从这个意义上说，单独的sEMG可能不足以提供足够的信息来恢复神经假体的功能。脑电图(EEG)信号反映了大脑中产生的精神活动的生物电，并且明显较少依赖于截肢条件。因此，脑机接口(BCI)或脑机接口(身体质量指数)可能与这项研究的审查范围高度相关。BCI/身体质量指数作为机器人控制的人机界面得到了广泛的研究。这项研究还还简要回顾了近10年来无创BCI研究以及肌电信号和EEG混合用于假肢控制的研究，以补充肌电信号相关的文献。
自2012年论文发表以来，整整十年过去了。检查肌电控制和相关领域的主要研究方向在过去10年中的进展是很重要的。下图为所审查主题及其关系的示意图。具体来说，这项研究旨在研究十年前发现的学术界和工业界之间的差距是否已经弥合，以及弥合的程度如何。此外，还试图提供对这些领域新的研究方向的想法。
控制方案:趋向于直观和自然的控制
在2012年审查中确定并在2014年审查中进一步阐述的第一个问题是整体肌电控制方案。对此，主要有三种不同的控制方案:传统的直接控制(tDC)、基于模式识别的控制(PRC)和同步比例控制(SPC)。下表说明了基于EMG的假体控制方法的优缺点。
尽管肌电PRC和SPC相关的研究在过去十年中获得了巨大的发展势头，但基于肌电信号接口在以下方面仍有很大的改进潜力。比如基于PRC的EMG接口的研究应该加速其向实际和临床应用的转变，例如提高对非结构环境的鲁棒性，减少用户的训练工作，并提供更好的假体用户体验。为了实现自然、直观的控制，基于SPC的肌电控制仍将是未来的研究热点。在基于SPC的EMG接口中研究的自由度的数量仍然局限于手腕。探索开发具有更高自由度(可能是手指的自由度)的SPC来模仿人类灵巧的手部运动的潜力将吸引更多研究人员的注意。
感官反馈:关闭控制回路
从狭义上讲，提供感觉反馈不是肌电控制的一部分。然而，当检查整体假肢控制时，正向运动控制(由EMG驱动)和感觉反馈是感觉运动回路的两个紧密耦合的部分。然而，目前假肢感觉反馈的技术水平明显落后于它的前向控制对手。研究的数量在深度和广度上都相对有限。不足为奇的是，没有商业上可用的假体提供体感反馈功能，无论是触觉的还是本体感受的。没有感觉反馈，精确控制假肢的能力受到限制，截肢者必须严重依赖视觉反馈来执行功能性任务，不可避免地导致高认知和心理负担。此外，感觉反馈的缺乏阻碍了灵巧手假体的功能和效率，这可能在假体排斥率中起重要作用。
正如2012年的综述中所指出的，上肢假肢缺乏感觉反馈是假肢研究中的一个关键挑战。关键的挑战是感觉通路不能在假体硬件和人类感觉系统之间直接建立。因此，从嵌入在假体中的传感器检索的传感信息只能通过中继刺激机制引发重新映射的生理感觉而被传递给截肢者。具体而言，它需要感测各种触觉(例如压力和振动)和本体感受(位置和速度)信息，以及通过非侵入性或侵入性神经接口将信息传达给截肢者。
人手的感觉神经末梢与皮肤中的四类机械感受器(默克尔圆盘、鲁芬尼圆柱体、迈斯纳小体和帕奇尼小体)相连，对各种触觉和皮肤变形做出反应。支配手部无毛皮肤中各种机械感受器的神经纤维汇聚形成三种神经，即正中神经、尺神经和桡神经，它们相互支配五个手指。通过使用非侵入性(机械或电触觉)和侵入性(直接神经和感觉皮层刺激)接口刺激备用触觉感觉结构来诱发人工感觉。上肢截肢导致机械感受性终末器官的丧失。然而，体感神经和将信号从这些器官传递到中枢神经系统的上行通路仍保持功能。然而，自然的手-物体交互通常激活数百甚至数千个触觉神经纤维，并且激活模式依赖于任务。在可预见的未来，高保真地复制如此复杂的“编码”过程是不可能的。因此，相对于神经纤维的自然数量，神经假体的感觉恢复受到极少数刺激通道的限制。因此，目标不是高保真地再现自然的感官反馈。在给定有限的刺激通道，目标是产生对物体操纵有用的神经元激活模式，并促进假肢的实现。根据不同的神经接口技术，体感反馈可以分为机械触觉、电触觉和侵入式感觉反馈，如下图所示。
机械触觉刺激可以从假手向使用者传递模式匹配的反馈。已经表明，机械触觉装置可以有效地传递多个刺激部位和压力强度。然而，由于其庞大的体积和沉重的结构，机械触觉反馈很难集成到假手的插座中。作为机械触觉反馈的一种形式，振动触觉反馈是通过在目标皮肤区域的表面上应用一组振动器来产生的。一些商业肌电假肢，已经被用于验证通过结合振动触觉反馈来提高假肢控制的效率。
电触觉反馈经皮电神经刺激(TENS)(也称为电触觉刺激)被认为是恢复感觉反馈的一种可行的非侵入性方法，它对来自假体装置的触觉信息进行编码并将其提供给截肢者。由于它具有多个可调刺激参数(如脉冲幅度、脉冲宽度和频率)、快速响应和低噪声等优点，因此被广泛采用。
而本体感受反馈与触觉反馈的功能重建相比，实现假肢本体感受运动信息(包括患肢关节角度)与截肢者本体感受感知的匹配面临更大的挑战。
目前，先进的上肢假肢可以为运动功能丧失提供有意义的补偿。然而，它们补偿感觉功能丧失的能力相对有限。技术挑战存在于许多方面，例如传感器的集成、刺激设备的便携性以及在假手和人类感觉系统之间建立神经感觉通路。出于这些目的，需要多模式感测能力(例如压力、振动和温度)和高密度传感器单元来提供与不同物体的更好的交互体验。此外，必须开发具有高级编码策略的更加便携和紧凑的刺激反馈硬件，以在无束缚假手系统中将从假肢取回的感测信息传送给截肢者。
走出舒适区:强健的肌电控制
肌电控制算法开发中的一个普遍假设是，从EMG中提取的特征对于相同的运动或手势是足够稳定的。虽然这种假设在受控的实验室条件下肯定成立，但对于来自真实世界场景的数据不再有效，在真实世界场景中，许多因素会将非平稳干扰引入数据。这些因素可以分为两组:内部和外部。内因来自用户，包括肌肉疲劳、肢体/躯干位置变化、肌肉收缩强度变化等。外部因素来自用户以外的来源，包括电极位置的移动、电极-皮肤阻抗变化、电极故障等。自2012年回顾以来，提高对这些因素的鲁棒性一直是肌电控制研究的关键主题之一。在这些因素中，电极移动、肌肉疲劳、肌肉收缩强度变化和上肢运动最受关注。
尽管现在的一些策略在不同程度上有效地提高了整个系统的鲁棒性，但在存在干扰的情况下，报告的系统性能仍然低于原始状态，表明控制仍然会受到影响。此外，许多研究仅关注单个因素的干扰。然而，在现实世界中，通常会同时出现多种因素。有必要研究多因素场景，并为其开发稳健的解决方案。
多模态传感:1 + 1 > 2，不仅仅是肌电图
尽管肌电信号包含了丰富的人体运动神经控制信息，但仅凭肌电信号还不足以准确解码人体运动的意图。因此，2012年的综述呼吁传感器融合方法进一步改善假体的控制性能和功能。与前三个挑战类似，这一挑战在过去十年中受到了相当大的关注。各种方法，如机械肌图(MMG)，力肌图(FMG)，惯性测量单元(IMU)，红外光谱(NIRS)，超声(US)，脑电图和计算机视觉(CV)，已经进行了研究。有研究人员还采用一些模式与表面肌电信号融合，以提高对干扰的鲁棒性。例如，MMG和FMG不会受到皮肤阻抗变化的影响，MMG对传感器位置也不敏感；IMU可用于预测上肢位置，有利于消除其不良反应；近红外光谱可以测量肌肉的状态来预测疲劳。
EEG对截肢条件的依赖性较小，这使得它成为为肘部以上截肢者提供有形假肢控制解决方案的绝佳候选者。对于融合算法，可以在特征级对数据进行融合，将提取的特征进行融合，训练整体模型。这种融合也可能发生在决策层面。
多模态传感已被证明可以有效地提高系统的整体性能，包括交流精度、效率和鲁棒性。由于每种传感器模式都有其优点和局限性，因此设计特定的融合策略是相互补充和发挥其优势的关键。传感器融合策略不仅要考虑信号处理算法(软件端)的问题，还要考虑传感器集成、同步和电源管理(硬件端)的问题。多模态传感系统从硬件到软件的全栈实现及其实时性能测试是未来研究的必要内容，值得关注。
MUAPt:终极肌电控制？
在2014年的综述中，首次提出嵌入在MUAPt中的直接神经控制信息是肌电控制的“终极特征”。从表面肌电信号中提取并发活动MUAPt的信号处理方法被称为表面肌电信号分解。在2010年代之前，它并不是一个新概念，因为它一直是肌肉神经生理学和运动控制的重要研究工具。然而，直到最近十年，MUAPt才被明确地应用于肌电控制，并被提出作为一种高度鲁棒的HMI来实现灵巧和直观的控制。
基于MUAPt的肌电界面必须考虑两个基本步骤:分解和投影(下图)。前者显著影响识别MUAPt的可靠性和准确性。后者旨在通过将获得的MUAPts投影或映射到各自的运动运动学/动力学，从而将其转换为设备的控制命令，建立基于MUAPts的控制方案。
基于MUAPt的肌电控制在人体运动解码中显示出良好的效果。然而，仍然有一些限制。主要的限制在于分解技术。已识别的MUAPts数量有限且不确定，因此无法将神经特征投射到复杂的任务中。此外，目前的分解技术可能无法解码动态运动和长期应用中的神经活动，因为大多数分解算法假设一个固定的混合过程。目前的分解算法不能适应初始化阶段后不断变化的运动单元招募。对非平稳条件具有适应能力的在线分解方法应是另一个研究方向。另一个限制是分解系统的可穿戴集成。与传统的基于肌电图的方法相比，无论是在PRC还是SPC中，基于MUAPt的控制的硬件要求和实验设置通常都是复杂和繁琐的。需要更多的研究来降低系统的复杂性和简化实验方案。
新的武器:DL？
与目前讨论的传统算法相比，深度学习方法具有独特的无特征或端到端学习特征。通过深度网络结构进行隐式特征提取。深度学习方法越来越成为表面肌电信号和肌电控制研究各个方面的重要工具，与具有手工特征的传统算法相比，深度学习方法表现出更优越的性能。
虽然基于DL的肌电图接口是近十年来的研究热点，但该方向仍存在计算成本高、数据依赖性大、缺乏可解释性等问题。首先，在实验室环境中可以获得强大的计算资源，但是在成本合理的便携式设备中却无法获得，功耗也很高。这限制了基于DL的肌电图接口的实际应用。开发具有低功耗GPU的嵌入式系统是潜在的解决方案。其次，需要大量的数据来优化DL方法的参数，以确保其良好的性能。在未来的工作中，可以采用数据增强和迁移学习的方法，以更少的数据采样点来增加数据量，提高稳定性。最后，大多数DL方法的内层既没有物理意义，也没有生理意义，无法用来解释潜在的生理过程。提高深度学习方法的可解释性是今后将深度学习方法更好地应用于肌电界面领域的一个重要研究方向。
更好的包容性:开放获取EMG数据库
在2010年代之前，肌电控制领域的不同研究小组将报告肌电信号算法，并从各自实验室的数据集获得结果。这些数据集通常不提供给各自实验室以外的研究人员。很难客观地比较不同算法的性能，这给没有肌电图仪器或缺乏必要的人类参与研究经验的研究人员造成了障碍。为了建立一个更具包容性的研究社区，并促进其他研究人员更好地相互交流，公开表面肌电图数据集在肌电控制研究社区越来越受欢迎。Ninapro是一个包含健全人和截肢者的肌电信号、关节运动学等信息的数据库，可能是目前文献中最流行的肌电信号数据库。许多研究人员使用Ninapro的数据集发表了他们对PRC和SPC的创新研究。更多样化的数据集，一些具有独特的特征，如大型主题池，多会话和高清肌电图，正在不断发布。与此同时，质量开放存取数据集的一致性将不断提高。
无创脑机接口在神经修复和生物机器人控制中的应用
在过去的十年中，表面肌电信号在假肢控制方面已经展示了它的力量，但对于经肱骨截肢者来说仍然面临着巨大的挑战。与表面肌电信号不同，来自中枢神经系统的信号包含了人类意图的源信息。脑机接口技术从包括脑电图(EEG)、脑磁图(MEG)和功能磁共振成像(fMRI)在内的信号中解码人类意图。患有肌萎缩侧索硬化症等肌肉疾病的人可能有正常的大脑信号，但不能产生有效的肌电图信号。因此，脑机接口绕过周围神经系统，建立了从大脑到外部设备的直接接口。但本研究将范围限制在脑电图上，因为脑电图似乎是与肌电图融合的最可行的方式，可以解决经肱骨截肢者恢复运动功能的巨大挑战。
基于脑机接口(BCI)技术的脑控机器人技术在过去十年中得到了广泛的研究，并被应用于人类受试者的辅助和康复。成功的应用包括但不限于bci控制的神经假肢、机械臂和四轴飞行器。然而，这些演示仍然局限于控制良好的实验室环境。脑机接口技术还处于起步阶段，因为采集到的信号通常很弱，容易被表面肌电信号等信号污染。随着新型传感器和解码方法的迅速发展，脑机接口已成为神经接口的一个重要分支，越来越受到学术界和工业界的关注。当然，脑机接口是生物机器人研究的重要组成部分。肌电图和脑电图的融合正在成为研究方向，为肘部以上截肢者提供神经假肢控制。对于脑机接口(BCI)，对各种事件产生的大脑信号被记录下来，这些信号来自头皮、皮层表面或大脑内部。对这些信号进行分析，以提取与用户意图相关的特征。然后将这些特征转化为控制应用设备的命令，以替换、恢复、增强、补充或改善中枢神经系统(CNS)的自然输出，如下图所示。
讨论和总结
自2012年以来，由于研究重点和跨部门合作的重大转变，学术界和工业最先进的肌电控制之间的二分法已经显著弥合。嵌入PRC算法的假肢，如Coapt和Myo Plus模式识别，已经商业化。当使用者和其他利益相关者正在评估其临床和商业可行性时，世界各地正在投入大量研究工作，最终目标是使上肢假肢像生物手臂一样自然。
十年前确定的四大挑战在两个层面上仍然具有相关性。首先，这四个挑战没有一个可以被认为是“解决”的，它们值得更多的研究。更重要的是，大多数研究只针对其中一个挑战。然而，这些问题并不是孤立的，而是整个系统中紧密相连的方面。例如，PRC和SPC方案中的算法都面临鲁棒性挑战;在开发多模态传感方法时，应考虑肌电控制方案(tDC、PRC或SPC)的选择;在感官反馈方法的设计过程中，应尽早注意鲁棒性问题。因此，在今后的研究中必须采取更全面的方法。
在学术研究的最新技术能够转化为商业和临床上可行的假肢产品，为截肢者提供有意义和负担得起的功能替代物之前，还有很长的路要走。当前综述的焦点是假肢技术的创新“软”方面。在“硬”方面，即机械结构、机电一体化和电子设计，在过去几十年中也取得了重大进展，例如高度拟人化特征的高超结构设计以及柔性电极和电子设备的集成。“软”和“硬”两方面创新的协同组合将是实现具有直观功能、临床实用性和经济可行性的仿人假体的最终目标所必需的。
内容来源：https://academic.oup.com/nsr/article/10/5/nwad048/7057876?login=true
