苹果新专利让Mac隔空识手！事件驱动传感器秒懂比划​手势

Meise

还记得那些科幻电影里对着空气挥挥手就能操作电脑的场景吗？苹果最近又为Mac用户描绘了这样一幅未来图景，而且这次他们拿出的技术听着确实有点门道。美国专利商标局前不久又亮出了一份来自苹果的专利申请（注意，是专利申请文件，不是成品预告），这次瞄准的正是怎么让未来的Mac电脑也能“看懂”你在空中比划的手势。

这个专利主要解决的问题，是如何让电脑更快更准地捕捉和理解手势动作。苹果在专利背景里吐了槽：传统摄像头是按帧拍照片的，手势动作要是快了，一拍一停之间，关键动作可能就被漏了或者拍糊了。怎么办？他们的解法是用上一种叫“事件相机”（Event Camera）的传感器，这东西干活的方式不一样，每个像素点感受到光线变化就会立刻打个报告（产生一个事件），捕捉动作的速度能甩开传统摄像头好几条街。

但新工具带来新麻烦。事件相机对环境太敏感，手在动，背景里可能也有别的东西在动，比如飘过的窗帘或者家里宠物晃尾巴，这些无关的信号都会被记录下来，海量的事件数据涌向系统，识别一个简单的挥手动作就可能变成大海捞针，费时费力还可能出错。

苹果的新专利亮出了应对招数，关键就是让两种摄像头联手干活：

​​传统摄像头先定位：​​ 首先，还是得靠传统的帧式摄像头出马，它拍出画面帮系统锁定目标区域，比如用户的手在哪里（这叫“感兴趣区域”，Region of Interest）。
​​事件相机聚焦细节：​​ 一旦锁定了手在哪，事件相机就能集中火力，只处理来自这个区域的动作信号，后台那些乱飘的窗帘信号或者宠物尾巴影子，很大程度上就被屏蔽掉了。
​​用“块”来追踪轨迹：​​ 手势识别最核心的是追踪手运动的路径。事件相机的数据点太碎了怎么办？苹果不是一个个点去追，而是把特定时间段内、在特定区域里（组成一个个“块”）活跃的事件点打包处理（这叫分组“块”，Grouping Blocks）。这样就简化了数据处理量，追踪路径效率更高。
​​灯光配合减干扰：​​ 为了尽量减少日常环境光变化的影响，提升识别精度，这个方案里面还考虑到了“分光”。一般来说，让事件相机去捕捉红外光（IR），同时对可见光不感冒；而传统的帧式摄像头还是专心拍常见的可见光画面。

专利文件里配的图（专利图3）展示了一个叫“手势识别单元350”的核心组件。图6则画了个示意图，说明一个配置了这种事件相机的MacBook会怎么追踪目标物（比如一只手）的运动路径。最生动的要数图7A和图7B了，7A展示了事件相机在一个时刻捕捉到的密密麻麻的事件点（单个的亮点），7B接着就展示了把这些点打包归类的“块”是怎么处理这些信号的。

这项专利背后的重要工程师叫Sai Harsha Jandhyala，他在苹果的职位是硬件架构部（Hardware Technologies Group）下的摄像头电子工程组高级电气工程师。需要说明的是，苹果作为专利大户，申请了这个技术并不代表很快就会出现在市售产品里。不过，考虑到苹果已经针对未来的扩展现实（XR）头显和智能眼镜申请了60多项空中手势相关的专利，现在又把技术储备拓宽到Mac平台，显然对未来的无接触人机交互方式投入持续关注。

这个方案的最大价值在于，它试图结合两种摄像头的优势：帧式摄像头的“定位稳”和事件相机的“动作快”。如果真能实现，未来Mac用户用起来就可能告别在摄像头前像放慢动作似地摆手势，来个“挥手即达”的操作体验。