一、概述

“手勢(shì)是人類溝通的自然的方式。硬件限制是我們不能很好地控制我們的設(shè)備的限制”，這里的硬件限制指的是傳統(tǒng)的手勢(shì)識(shí)別算法需要額外的深度傳感器。感謝近十多年不斷發(fā)展的可適應(yīng) AI 和邊緣計(jì)算崛起，使得這一切逐漸變?yōu)榭赡堋?

我們或?qū)⒃谥悄苁謾C(jī)、平板電腦、臺(tái)式電腦、筆記本電腦、智能手表和智能電視，IOT 設(shè)備中看到更多結(jié)合空中手勢(shì)來(lái)操作的未來(lái)功能。
今年我們已經(jīng)看到有這樣的趨勢(shì)，科技巨頭都紛紛推出了自己的手勢(shì)識(shí)別能力：谷歌在自己的手機(jī)和智能音箱上提供了手勢(shì)交互的能力，華為在旗艦手機(jī) Mate30 上推出了自己的手勢(shì)操控等等，蘋(píng)果也剛剛提交了手勢(shì)在智能音箱上應(yīng)用的相關(guān)專利，實(shí)際上，手勢(shì)作為人機(jī)交互自然的方式場(chǎng)景簡(jiǎn)直是不言自明，想像一下這些場(chǎng)景：

• 在看電視的時(shí)候想要換臺(tái)，想要調(diào)整音量，找不到遙控器的時(shí)候，直接使用手勢(shì)來(lái)操作，免去找不到遙控器的抓狂煩惱。

• 在駕駛汽車，如果你聽(tīng)到了一很難聽(tīng)的歌，希望趕快切掉，如果需要與觸摸屏顯示器進(jìn)行交互，駕駛員需要將視線從道路上移開(kāi)，這樣有潛在的危險(xiǎn)，使用手勢(shì)識(shí)別使得駕駛更安全。

• 在使用 iPad 看劇時(shí)，這個(gè)時(shí)候老板/老婆電話突然進(jìn)來(lái)了，我們對(duì)著 iPad 使用靜音手勢(shì)操控設(shè)備靜音，科技以人為本。

• 在智能家居場(chǎng)景，使用手勢(shì)操作你的電燈，空調(diào)，甚至抽油煙機(jī)都是可以想象的場(chǎng)景

總結(jié)來(lái)說(shuō)：“You are the only interface you need”。

二、我們現(xiàn)在的業(yè)務(wù)場(chǎng)景

我們所屬天貓精靈 M 實(shí)驗(yàn)室，主要負(fù)責(zé)跟天貓精靈相關(guān)的視覺(jué)算法，我們的主要研究方向人機(jī)交互視覺(jué)算法，包括手勢(shì)識(shí)別，肢體識(shí)別，還有多模態(tài)視覺(jué)語(yǔ)音交互等。

去年，我們推出了基于天貓精靈智能音箱的超輕量手勢(shì)識(shí)別算法，今年我們更進(jìn)一步，在技術(shù)，業(yè)務(wù)，算法上進(jìn)行了更為深入的探索：

• 在天貓精靈大屏產(chǎn)品 CC, CCH, CCL 等上線了手勢(shì)操控能力。

• 我們同優(yōu)酷iPad客戶端的小伙伴一起，在優(yōu)酷 iPad 版也成功應(yīng)用了我們的手勢(shì)識(shí)別能力。

• 我們?cè)诮逃齃域，我們嘗試了使用手指作為輸入，實(shí)現(xiàn)了手指點(diǎn)讀的相關(guān)能力，讓小朋友“哪里不會(huì)點(diǎn)哪里”。

• 目前我們?cè)诟�電視廠商等 IOT 生態(tài)廠商合作，實(shí)現(xiàn)大屏手勢(shì)交互步，未來(lái)丟掉遙控器將不是夢(mèng)。

三、無(wú)處不在的單點(diǎn)（靜態(tài)）手勢(shì)

3.1 從天貓精靈到優(yōu)酷 iPad 手勢(shì)識(shí)別
去年，我們推出了基于天貓精靈智能音箱的超輕量手勢(shì)識(shí)別算法，今年我們與優(yōu)酷的小伙伴合作，把單點(diǎn)手勢(shì)能力進(jìn)一步移植到了優(yōu)酷 iPad 場(chǎng)景中。
3.1.1  單點(diǎn)手勢(shì)應(yīng)用：優(yōu)酷吃飯看劇神器
來(lái)自用戶的聲音：吃飯看劇神器
這是在優(yōu)酷上線后用戶自發(fā)介紹的使用視頻，也非常符合我們的場(chǎng)景預(yù)期和用戶痛點(diǎn)：

• 在看劇的時(shí)候，經(jīng)常有需要跳過(guò)某一小段，快進(jìn)或者快退的時(shí)刻，解決不便直接操作的時(shí)刻（例如吃飯，手里不方便等場(chǎng)景）。

• 在 iPad 場(chǎng)景：1）受設(shè)備體積和重量影響，很少手持設(shè)備；2）屏幕較大，用戶距離設(shè)備通常有一定距離，手勢(shì)識(shí)別帶來(lái)了更為J致的體驗(yàn)提升。

3.2  走的更遠(yuǎn)：大屏遠(yuǎn)距手勢(shì)交互
3.2.1  大屏交互場(chǎng)景
近年來(lái)，智能電視（智屏）正越來(lái)越多的進(jìn)入千家萬(wàn)戶。據(jù)工信部預(yù)測(cè)，到 2020 年，智能電視市場(chǎng)滲透率有望達(dá)到 90% 以上。除了數(shù)量?jī)?yōu)勢(shì)，強(qiáng)大的交互能力是智慧家庭入口的必備特質(zhì)。作為智慧家庭 IoT 的另一個(gè)重要入口，智能電視的大屏幕更易實(shí)現(xiàn)交互。
3.2.2  挑戰(zhàn)
要走的更遠(yuǎn)，也常常伴隨更大的挑戰(zhàn)。和天貓精靈 CC 或 iPad 這種近身設(shè)備相比，在智能電視場(chǎng)景進(jìn)行手勢(shì)算法研發(fā)面臨主要面臨的挑戰(zhàn)有：

• 更遠(yuǎn)的距離。智能電視有一塊大屏幕，往往 3-5 米是一個(gè)對(duì)人較為舒適和健康的觀看距離。在這樣一個(gè)距離下，人手在畫(huà)面占比非常小。

• 更多的人數(shù)�？赡苡卸嗳送瑫r(shí)在看電視，因此我們要能及時(shí)甄別和響應(yīng)每一位觀眾的交互需求。

• 更復(fù)雜的背景。不同家庭不同電視的擺放位置千變?nèi)f化，我們的算法要在變化中找不變（手勢(shì)識(shí)別）

• 有限的算力。雖然智能電視越來(lái)越普及，但是它們配置的硬件性能依然非常有限。

3.2.3  大屏方案
針對(duì)以上挑戰(zhàn)，經(jīng)過(guò)我們算法研發(fā)探索，提出語(yǔ)義注意力機(jī)制導(dǎo)引的快速人手檢測(cè)和分類方法（Contextual-attention-guided fast tiny hand detection and classification）。
大屏解決方案: Contextual-attention-guided fast tiny hand detection and classification
1）Lightweight hourglass-like backbone
輕量J類 hourglass 模塊對(duì)輸入進(jìn)行下采樣，在獲取具有G層語(yǔ)義信息的特征圖的同時(shí)，盡量保留細(xì)節(jié)性特征，有利于對(duì) tiny hand 的檢測(cè)。
2）Contextual attention
3-5 米場(chǎng)景下，人手在整個(gè)輸入圖像中占的像素比非常小。手雖然很小，但是手一般長(zhǎng)“人”身上，而且距離人體特定的部位（如手腕、胳膊、人臉）較近，同時(shí)與這些部位可能會(huì)有相近的顏色。這些人體或人體部位往往較手要更大，為我們 tiny hand 的檢測(cè)提供了額外的 clues，利用這些 clues，可以更好的對(duì) tiny hand 進(jìn)行檢測(cè)�；�于此，我們利用 Similarity Context 和 Semantics Context 來(lái)作為 Contextual attention ，從而指導(dǎo)網(wǎng)絡(luò)獲取手區(qū)域以外的語(yǔ)義信息，增強(qiáng)檢測(cè)能力。

四、落地與優(yōu)化閉環(huán)

相信任何一個(gè)做過(guò) AI 算法落地的同學(xué)，都會(huì)遇到各種各樣的實(shí)際算法問(wèn)題，不管是科大訊飛的語(yǔ)音交互，到現(xiàn)在無(wú)處不在的人臉識(shí)別，甚至谷歌的搜索詞排名算法，基于深度學(xué)習(xí)的AI算法的非常重要的一個(gè)特點(diǎn)就是越用越好，并漸漸形成數(shù)據(jù)相關(guān)壁壘。
我們?cè)谑謩?shì)先后在天貓精靈和優(yōu)酷上線后，我們同樣也經(jīng)歷了這樣的一個(gè)過(guò)程，為了讓我們的算法“越用越好”：

• 提出了新的檢測(cè)算法，應(yīng)用了前沿的 Overflow-aware 量化方案，J致算法體驗(yàn)。

• 我們接入了 AutoML 助力 AI 應(yīng)用快速落地，以動(dòng)態(tài)閉環(huán)的形式優(yōu)化我們的算法。

4.1  更快更強(qiáng)的端上檢測(cè)算法 + overflow-aware 量化應(yīng)用
4.1.1  更強(qiáng)的端上檢測(cè)算法
基于 anchor-free 方案，更G效的算法框架，使用 heatmap 輔助 anchor 方案
基于天貓精靈音箱，IOT 視覺(jué)模組等不同設(shè)備算力的硬件條件，對(duì)端上的手勢(shì)識(shí)別提出了更加G的要求，我們進(jìn)一步提升手勢(shì)識(shí)別算法能力框架：基于流行的 anchor-free centernet 算法，提出了 centernet-lite 的端上檢測(cè)算法，不過(guò)在實(shí)際算法的落地的過(guò)程中，我們發(fā)現(xiàn)目前流行的 anchor-free 方案在小網(wǎng)絡(luò)有一些天然劣勢(shì)：

• 由于其天然基于 heatmap，終精度與 heatmap 有很大關(guān)系，這對(duì)小型化不利。

• 同時(shí)，由于 heatmap 的原因，這種方案無(wú)法很好的解決同一類物體重疊的情況。

4.1.2  應(yīng)用 Overflow-aware 低比特量化算法
端上量化
加速目前業(yè)界流行的方案為谷歌 8bit 量化算法，事實(shí)上，有更優(yōu)秀的低比特量化算法：通過(guò)學(xué)習(xí)的方法，學(xué)習(xí)每一層的 min/max 范圍，動(dòng)態(tài)的調(diào)整每一層的量化方案，目前在推理引擎端加速比為 70%。
終我們采用使用 heatmap 方案來(lái)輔助 anchor 檢測(cè)方案且融合 Overflow，這取得了比較好的精度和效果的平衡，在天貓精靈硬件上。

4.2  優(yōu)化閉環(huán)：AUTOAI 的手勢(shì)線上識(shí)別優(yōu)化框架 （讓算法越用越好）
我們利用在 deep learning 中有類似模型蒸餾的思想，通過(guò)采用預(yù)先訓(xùn)練好的復(fù)雜模型（Teacher model）的輸出作為監(jiān)督信號(hào)去訓(xùn)練線上網(wǎng)絡(luò)（student model）。我們可以在不直接接觸業(yè)務(wù)數(shù)據(jù)的情況下，不斷進(jìn)行算法的優(yōu)化。
使用圍欄的優(yōu)化結(jié)果：

五、產(chǎn)品J的序列（動(dòng)態(tài)）手勢(shì)
5.1  為什么要做動(dòng)態(tài)手勢(shì)識(shí)別
我們?cè)趩吸c(diǎn)手勢(shì)已經(jīng)做了非常多的嘗試和應(yīng)用落地，但是動(dòng)態(tài)手勢(shì)作為一種更自然更“爽”的交互方式，是我們一直在不斷鉆研的實(shí)際方向。
從產(chǎn)品的思路上來(lái)說(shuō)，動(dòng)態(tài)手勢(shì)提供了更多的交互感和參與感，其應(yīng)用的場(chǎng)景可能也是不一樣的，比如單點(diǎn)手勢(shì)可能應(yīng)用與 IOT 設(shè)備等操控類型的算法場(chǎng)景，動(dòng)態(tài)手勢(shì)其d特的參與感讓其更適用于教育，娛樂(lè)，線下運(yùn)營(yíng)等實(shí)際場(chǎng)景，這也是我們不斷突破這個(gè)場(chǎng)景的原因。
5.2  基于 skeleton 的動(dòng)態(tài)手勢(shì)識(shí)別算法
去年，我們實(shí)現(xiàn)了基于 skeleton-based 的動(dòng)態(tài)手勢(shì)識(shí)別算法(相關(guān)工作已經(jīng)投稿ISMAR2019,并成功發(fā)表，鏈接：https://ieeexplore.ieee.org/document/8951971)：
但是在實(shí)際的產(chǎn)品化過(guò)程中，我們發(fā)現(xiàn)對(duì)于通用的動(dòng)態(tài)手勢(shì)識(shí)別，純粹的 skeleton-based 方案可能并不實(shí)用，主要原因有：

• 算力：完成 skeleton-based 的一系列操作：手勢(shì)檢測(cè)+指尖回歸+時(shí)序網(wǎng)絡(luò)等需要較G算力，在天貓精靈等 IOT 設(shè)備上無(wú)法達(dá)到產(chǎn)品J別的能力。

• motion blur：由于手勢(shì)運(yùn)動(dòng)較快的原因，大部分動(dòng)態(tài)手勢(shì)都有運(yùn)動(dòng)模糊的情況，對(duì)檢測(cè)+關(guān)鍵點(diǎn)這類算法非常不友好。

因此，我們把目光投到了以動(dòng)作識(shí)別為基礎(chǔ)、指尖回歸為輔助的時(shí)序推理方案。
5.3  基于視頻理解的動(dòng)態(tài)手勢(shì)識(shí)別算法
時(shí)序推理
原理：圖像關(guān)系的時(shí)序推理（temporal reasoning）能力，要讓計(jì)算機(jī)認(rèn)識(shí)這兩個(gè)行為，需要兩張及以上的幀圖像來(lái)相互輔助識(shí)別。一個(gè)行為需要被多個(gè)幀協(xié)作來(lái)解釋。這種方案很好的解決了 motion blur 的問(wèn)題，且算力上更可控。
Our Temporal Generation Network_
為解決運(yùn)動(dòng)模糊等問(wèn)題，采用基于 RGB 時(shí)序序列為主框架的視頻識(shí)別方案，提取連續(xù)采樣幀的特征，并使用改良的G效快速的非退化 3D 卷積網(wǎng)絡(luò)，對(duì)時(shí)序特征進(jìn)行融合。
同時(shí)針對(duì)特定手勢(shì)的識(shí)別，提出一種基于手指關(guān)鍵點(diǎn)的輔助分支，使用 heatmap 分支對(duì)指尖關(guān)鍵點(diǎn)進(jìn)行多任務(wù)學(xué)習(xí)并回歸，檢測(cè)出手指的運(yùn)動(dòng)軌跡，與 RGB 分支進(jìn)行特征融合，輔助動(dòng)態(tài)手勢(shì)識(shí)別。算法整體結(jié)合了基于 RGB 和關(guān)鍵點(diǎn)方案的優(yōu)勢(shì)，達(dá)到了速度與精度的平衡。

六、未來(lái)展望
我們已經(jīng)在單點(diǎn)手勢(shì)識(shí)別，序列手勢(shì)識(shí)別在算法、業(yè)務(wù)都進(jìn)行了較多的探索和嘗試，關(guān)于手勢(shì)識(shí)別的未來(lái)算法探索方向和業(yè)務(wù)發(fā)力點(diǎn)，我們也有一些自己的展望：
6.1  3D 手勢(shì)崛起
3D 人手姿勢(shì)估計(jì)是指基于輸入的 RGB 或 RGB-D 圖片進(jìn)行人手建模并找到關(guān)鍵部件（如，骨節(jié)點(diǎn)）位置的過(guò)程。我們生活在三維世界，三維手勢(shì)交互必然帶來(lái)更自然更舒適的交互體驗(yàn)。我們也在 3D 人手交互方面正進(jìn)行積J探索，未來(lái)在電商產(chǎn)品交互式展示、VR/AR、手語(yǔ)識(shí)別、在線教育等方面，我們會(huì)推出更多的交互性更強(qiáng)的產(chǎn)品，提供更人性化的交互體驗(yàn)和服務(wù)。
Oculus Quest 在今年推出的 3D 手勢(shì)操控
6.2  手勢(shì)在 IOT 場(chǎng)景的應(yīng)用
手勢(shì)控制能否超越語(yǔ)音控制成為智能家居設(shè)備自然不過(guò)的設(shè)備呢？在 IOT 場(chǎng)景，如果可以使用手勢(shì)控制電視，燈泡，空調(diào)等等。目前已經(jīng)有一些 startup 開(kāi)始了在這方面的探索。
比如 Bixi，Bixi 是一款手勢(shì)小遙控器，感應(yīng)你的空中手勢(shì)，可以指揮你喜歡的智能手機(jī)應(yīng)用程序、LifX 或者 Hue 燈泡、互聯(lián)網(wǎng)揚(yáng)聲器、GoPro 和許多其他 IoT 設(shè)備。
再比如如下圖的 Bearbot 萬(wàn)用遙控器,除了萌系的外觀以外,還可以支持自定義手勢(shì)控制全屋家電,讓你從此擺脫一堆遙控器的束縛。
Bearbot 手勢(shì)遙控器，圖片來(lái)源：https://www.indiegogo.com/projects/bearbot#/
6.3  手勢(shì)在教育場(chǎng)景的更多應(yīng)用
除了手指點(diǎn)讀，手勢(shì)在教育行業(yè)其實(shí)應(yīng)該有更多的應(yīng)用，比如現(xiàn)在大火的在線教育，手勢(shì)可以增加虛擬課堂的互動(dòng)感和，同時(shí)對(duì)于小朋友來(lái)說(shuō)，手勢(shì)/視覺(jué)提供的有趣新奇的操控體驗(yàn)也是對(duì)幼兒提G課堂注意力非常重要的一環(huán)，例如，引導(dǎo)舉手回答問(wèn)題。再比如，我們需要做一些課堂小練習(xí)，普通的模式太枯燥，使用動(dòng)態(tài)手勢(shì)識(shí)別“畫(huà)對(duì)勾”，“畫(huà)叉叉”讓小朋友以互動(dòng)游戲的方式完成這些練習(xí)。

查看更多相似文章