无需摄像头、手套，仅凭一双手就能随时随地打字的虚拟键盘
选自IEEE Spectrum
(资料图)
作者：Prachi Patel
机器之心编译
编辑：袁铭怿
不需要繁琐的设备、键盘，也不需要佩戴笨重的手环，只需在手上打印一条线就能实现凭空打字？近日，一项由斯坦福大学的研究人员开发的智能皮肤系统登上 Nature 子刊，它可以精确定位用户在键盘上想输入的位置，还可以与应用程序甚至是物体交互。
图源：KYUN KYU “RICHARD” KIM / 斯坦福大学
新的 AI 学习机制结合了智能皮肤，可以破译人手的动作，以识别打字、手语，甚至是简单日常物体的形状。开发人员说，这项技术可以在有限的数据和最少的训练下快速识别和解释手部动作，值得广泛应用。
除了应用于游戏和虚拟现实中，新的手部动作识别技术可以让人们通过手势与他人和机器进行交流。技术专家们认为，该项技术还可以让外科医生远程控制医疗设备，让机器人和假肢实现物体和运动识别的新模式。
目前人们开发的手势识别技术都离不开笨重的腕带，以测量肌肉产生的电信号，或者在每个关节上都有应变传感器的可穿戴手套。其他方法还有跟踪人体运动、并使用机器学习来解释动作的摄像头。这些动捕相机系统需要从多个角度拍摄图像，这意味着仅一个手势识别系统就需要配备多个相机。
韩国先进科学技术研究院（KAIST）计算学院教授 Sungho Jo 表示，这些多摄像头系统也受到了视觉传感器的固有限制。这些限制包括工作空间中没有能让多个摄像机覆盖的区域，以及当手或其他物体在视野中被遮挡时，难免会产生错误。
目前使用的软件也很麻烦。研究人员通常依赖于基于监督学习算法的机器学习模型，这种算法的计算强度很高。它们需要为每个新用户和任务收集大量数据，这都需要大量的人力来进行标记。
为了制造出更精简的动作识别系统，Sungho Jo 和来自首尔国立大学、斯坦福大学的同事们专注于研发更高效的传感器和算法。他说：「我们试图创建一个精简且适应性强的手势识别系统，希望它基本上可以适用于任何用户和任何数据有限的任务。」
该团队在《自然・电子学》杂志上发表了这一新系统的两个关键部分。一种是由数百万条镀有金的银纳米线组成的网格，这些纳米线被嵌入聚氨酯塑料涂层中。Sungho Jo 提到，这种网格既耐用又有弹性，有助于传感器附着在皮肤上。「它能与佩戴者的每根手指的皱纹和甚至细微褶皱实现高度吻合。」
研究人员表示，这种网格可以用便携式机器直接打印在皮肤上，非常轻薄，几乎察觉不到它的存在。而且这种材料还具有生物相容性和可呼吸性，可以在日常生活中使用（洗手也不碍事），除非用肥皂和水将它擦掉。
该团队直接将网格顺着用户的食指打印在用户的手背上。纳米线网络能感应到皮下皮肤拉伸时电阻的微小变化。当手移动时，纳米网格会产生独特的信号模式，并通过一个轻量级蓝牙单元无线发送到计算机进行处理。
图源：KYUN KYU “RICHARD” KIM / 斯坦福大学
这就是 AI 的用武之地。机器学习系统将电导率的变化模式映射到特定的物理任务和手势上。研究人员首先使用来自三个不同用户的随机手和手指动作来帮助 AI 学习动作之间的一般相关性。
然后，研究人员基于先验知识来训练它区分由特定任务产生的信号模式，例如在电话上打字，在键盘上双手打字，握着六个不同形状的物体并与之交互。每个用户执行与任务相关的个人手势 5 次，以生成一个小数据集，随后研究人员再用这些数据集训练模型。例如，算法会在用户往键盘上输入特定的字母，或者描摹金字塔的斜面的过程中学会识别。在测试中，该系统能够识别新用户拿着的物体和在虚拟键盘上输入的句子。
「这套学习方案不仅计算效率极高，而且用途广泛，因为它不需要太多的演示便可以快速适应不同的用户和任务，」Sungho Jo 说道。
研究人员还表示，他们现在计划尝试在多个手指上放置纳米网格设备，以便捕捉更大范围的手部运动。Sungho Jo 表示，放置的传感器越多，需要分析的数据也就越多，因此研究人员需要仔细斟酌，尽可能地平衡 AI 系统的准确性和计算工作量的合理性。
