I. 引言

在(zai)(zai)(zai)(zai)(zai)新型(xing)(xing)冠(guan)狀(zhuang)病毒(du)(du)肺(fei)炎疫情的(de)(de)(de)(de)(de)(de)(de)傳(chuan)(chuan)播(bo)過程中(zhong)，病毒(du)(du)通過多(duo)(duo)種(zhong)(zhong)(zhong)(zhong)(zhong)途(tu)徑傳(chuan)(chuan)播(bo)，包括飛沫和(he)(he)接(jie)觸傳(chuan)(chuan)播(bo)。雖(sui)然(ran)使(shi)(shi)用(yong)(yong)酒(jiu)精基消毒(du)(du)劑或(huo)用(yong)(yong)肥皂洗(xi)手可以(yi)(yi)降低(di)感(gan)染(ran)風(feng)險，但(dan)這(zhe)(zhe)(zhe)些(xie)方(fang)法(fa)(fa)(fa)并(bing)不(bu)能完(wan)全(quan)隔離病菌(jun)。因(yin)(yin)此(ci)，非(fei)接(jie)觸式(shi)控制的(de)(de)(de)(de)(de)(de)(de)需求正在(zai)(zai)(zai)(zai)(zai)迅速增長。此(ci)外，人(ren)工智能（AI）正在(zai)(zai)(zai)(zai)(zai)發展，許多(duo)(duo)應用(yong)(yong)程序都在(zai)(zai)(zai)(zai)(zai)整合(he)AI技(ji)(ji)(ji)術(shu)(shu)(shu)以(yi)(yi)增強我們(men)日常生(sheng)活(huo)的(de)(de)(de)(de)(de)(de)(de)便利性(xing)。一(yi)個例子(zi)是微(wei)軟在(zai)(zai)(zai)(zai)(zai)其電梯系統中(zhong)集成(cheng)(cheng)(cheng)了(le)(le)(le)(le)面(mian)部識(shi)別(bie)技(ji)(ji)(ji)術(shu)(shu)(shu)，使(shi)(shi)得(de)用(yong)(yong)戶能夠更輕松地到(dao)達(da)(da)(da)(da)他(ta)(ta)們(men)想(xiang)去的(de)(de)(de)(de)(de)(de)(de)樓層(ceng)。這(zhe)(zhe)(zhe)項技(ji)(ji)(ji)術(shu)(shu)(shu)通過簡單地查看用(yong)(yong)戶的(de)(de)(de)(de)(de)(de)(de)面(mian)部就可以(yi)(yi)預測(ce)(ce)(ce)(ce)要到(dao)達(da)(da)(da)(da)的(de)(de)(de)(de)(de)(de)(de)樓層(ceng)。該系統使(shi)(shi)用(yong)(yong)了(le)(le)(le)(le)諸如“一(yi)次(ci)性(xing)查看”（YOLO）算法(fa)(fa)(fa)之類(lei)(lei)的(de)(de)(de)(de)(de)(de)(de)物體(ti)識(shi)別(bie)技(ji)(ji)(ji)術(shu)(shu)(shu)來(lai)識(shi)別(bie)用(yong)(yong)戶的(de)(de)(de)(de)(de)(de)(de)面(mian)部。近年來(lai)，手勢(shi)識(shi)別(bie)技(ji)(ji)(ji)術(shu)(shu)(shu)已(yi)經(jing)被廣泛應用(yong)(yong)到(dao)虛(xu)擬現實（VR）、人(ren)機(ji)交互以(yi)(yi)及(ji)運動(dong)(dong)(dong)醫學(xue)等(deng)(deng)領域(yu)。傳(chuan)(chuan)統的(de)(de)(de)(de)(de)(de)(de)手勢(shi)識(shi)別(bie)有(you)兩種(zhong)(zhong)(zhong)(zhong)(zhong)方(fang)法(fa)(fa)(fa)：一(yi)種(zhong)(zhong)(zhong)(zhong)(zhong)是使(shi)(shi)用(yong)(yong)數據手套，這(zhe)(zhe)(zhe)種(zhong)(zhong)(zhong)(zhong)(zhong)手套裝有(you)傳(chuan)(chuan)感(gan)器來(lai)檢測(ce)(ce)(ce)(ce)手指的(de)(de)(de)(de)(de)(de)(de)彎曲并(bing)向計算機(ji)發送電子(zi)信號進(jin)(jin)行(xing)識(shi)別(bie)。但(dan)是，這(zhe)(zhe)(zhe)種(zhong)(zhong)(zhong)(zhong)(zhong)方(fang)法(fa)(fa)(fa)需要硬件設(she)備，并(bing)且共用(yong)(yong)手套會增加病毒(du)(du)感(gan)染(ran)的(de)(de)(de)(de)(de)(de)(de)風(feng)險。另一(yi)種(zhong)(zhong)(zhong)(zhong)(zhong)方(fang)法(fa)(fa)(fa)是使(shi)(shi)用(yong)(yong)視覺(jue)技(ji)(ji)(ji)術(shu)(shu)(shu)。視覺(jue)技(ji)(ji)(ji)術(shu)(shu)(shu)在(zai)(zai)(zai)(zai)(zai)機(ji)器視覺(jue)中(zhong)最(zui)常用(yong)(yong)，它涉及(ji)捕(bu)捉和(he)(he)分(fen)析各(ge)種(zhong)(zhong)(zhong)(zhong)(zhong)類(lei)(lei)型(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)圖像。它不(bu)僅僅局限于(yu)捕(bu)捉二維圖像，而(er)(er)是越來(lai)越多(duo)(duo)地采用(yong)(yong)雙鏡(jing)(jing)頭或(huo)深度(du)相(xiang)機(ji)的(de)(de)(de)(de)(de)(de)(de)三維成(cheng)(cheng)(cheng)像系統。手勢(shi)識(shi)別(bie)技(ji)(ji)(ji)術(shu)(shu)(shu)結(jie)(jie)合(he)了(le)(le)(le)(le)鏡(jing)(jing)頭與深度(du)學(xue)習。Baek等(deng)(deng)人(ren)提出了(le)(le)(le)(le)使(shi)(shi)用(yong)(yong)光(guang)(guang)學(xue)相(xiang)機(ji)捕(bu)捉并(bing)分(fen)類(lei)(lei)動(dong)(dong)(dong)態(tai)和(he)(he)靜(jing)態(tai)手勢(shi)的(de)(de)(de)(de)(de)(de)(de)方(fang)法(fa)(fa)(fa)。然(ran)而(er)(er)，這(zhe)(zhe)(zhe)種(zhong)(zhong)(zhong)(zhong)(zhong)方(fang)法(fa)(fa)(fa)需要特定的(de)(de)(de)(de)(de)(de)(de)照(zhao)明條件并(bing)且缺乏深度(du)信息(xi)。另一(yi)種(zhong)(zhong)(zhong)(zhong)(zhong)方(fang)法(fa)(fa)(fa)是使(shi)(shi)用(yong)(yong)紅綠藍加深度(du)（RGB-D）深度(du)相(xiang)機(ji)進(jin)(jin)行(xing)手勢(shi)分(fen)類(lei)(lei)。不(bu)幸的(de)(de)(de)(de)(de)(de)(de)是，這(zhe)(zhe)(zhe)些(xie)設(she)備在(zai)(zai)(zai)(zai)(zai)陽光(guang)(guang)下并(bing)不(bu)適用(yong)(yong)。此(ci)外，基于(yu)光(guang)(guang)學(xue)相(xiang)機(ji)的(de)(de)(de)(de)(de)(de)(de)手勢(shi)識(shi)別(bie)系統會引(yin)發隱私擔憂，因(yin)(yin)為用(yong)(yong)戶可能擔心他(ta)(ta)們(men)的(de)(de)(de)(de)(de)(de)(de)圖像被未經(jing)授(shou)權地捕(bu)獲或(huo)惡意(yi)使(shi)(shi)用(yong)(yong)。微(wei)型(xing)(xing)雷(lei)(lei)達(da)(da)(da)(da)傳(chuan)(chuan)感(gan)器可以(yi)(yi)克服相(xiang)機(ji)的(de)(de)(de)(de)(de)(de)(de)局限性(xing)。Salami等(deng)(deng)人(ren)提出使(shi)(shi)用(yong)(yong)毫(hao)米(mi)(mi)波(bo)雷(lei)(lei)達(da)(da)(da)(da)進(jin)(jin)行(xing)大(da)動(dong)(dong)(dong)作(zuo)手勢(shi)識(shi)別(bie)。毫(hao)米(mi)(mi)波(bo)雷(lei)(lei)達(da)(da)(da)(da)指的(de)(de)(de)(de)(de)(de)(de)是工作(zuo)在(zai)(zai)(zai)(zai)(zai)毫(hao)米(mi)(mi)波(bo)頻(pin)段的(de)(de)(de)(de)(de)(de)(de)雷(lei)(lei)達(da)(da)(da)(da)系統，使(shi)(shi)用(yong)(yong)特殊雷(lei)(lei)達(da)(da)(da)(da)技(ji)(ji)(ji)術(shu)(shu)(shu)的(de)(de)(de)(de)(de)(de)(de)短波(bo)長電磁波(bo)。線(xian)性(xing)調(diao)頻(pin)連續波(bo)（FMCW）是一(yi)種(zhong)(zhong)(zhong)(zhong)(zhong)其頻(pin)率(lv)隨(sui)時間線(xian)性(xing)增加的(de)(de)(de)(de)(de)(de)(de)正弦波(bo)信號。FMCW毫(hao)米(mi)(mi)波(bo)雷(lei)(lei)達(da)(da)(da)(da)技(ji)(ji)(ji)術(shu)(shu)(shu)提供了(le)(le)(le)(le)高分(fen)辨率(lv)的(de)(de)(de)(de)(de)(de)(de)深度(du)信息(xi)，并(bing)且較少受(shou)到(dao)環(huan)境溫(wen)(wen)度(du)的(de)(de)(de)(de)(de)(de)(de)影響。這(zhe)(zhe)(zhe)使(shi)(shi)得(de)它適合(he)在(zai)(zai)(zai)(zai)(zai)非(fei)理想(xiang)的(de)(de)(de)(de)(de)(de)(de)光(guang)(guang)照(zhao)和(he)(he)溫(wen)(wen)度(du)環(huan)境中(zhong)進(jin)(jin)行(xing)精確測(ce)(ce)(ce)(ce)量，包括遮擋、霧(wu)天、室(shi)內、室(shi)外等(deng)(deng)多(duo)(duo)種(zhong)(zhong)(zhong)(zhong)(zhong)情況。使(shi)(shi)用(yong)(yong)毫(hao)米(mi)(mi)波(bo)雷(lei)(lei)達(da)(da)(da)(da)不(bu)會引(yin)發隱私擔憂，因(yin)(yin)此(ci)，許多(duo)(duo)研究集中(zhong)在(zai)(zai)(zai)(zai)(zai)使(shi)(shi)用(yong)(yong)低(di)成(cheng)(cheng)(cheng)本、微(wei)型(xing)(xing)雷(lei)(lei)達(da)(da)(da)(da)傳(chuan)(chuan)感(gan)器進(jin)(jin)行(xing)非(fei)侵入(ru)性(xing)的(de)(de)(de)(de)(de)(de)(de)手勢(shi)識(shi)別(bie)上。在(zai)(zai)(zai)(zai)(zai)疫情期間，各(ge)組(zu)織(zhi)安裝了(le)(le)(le)(le)配備人(ren)工智能面(mian)部檢測(ce)(ce)(ce)(ce)技(ji)(ji)(ji)術(shu)(shu)(shu)的(de)(de)(de)(de)(de)(de)(de)紅外熱成(cheng)(cheng)(cheng)像儀來(lai)測(ce)(ce)(ce)(ce)量體(ti)溫(wen)(wen)。紅外熱成(cheng)(cheng)(cheng)像儀能夠探測(ce)(ce)(ce)(ce)并(bing)測(ce)(ce)(ce)(ce)量物體(ti)表面(mian)發出的(de)(de)(de)(de)(de)(de)(de)紅外輻射能量，并(bing)將其轉換為可視圖像。該設(she)備可以(yi)(yi)在(zai)(zai)(zai)(zai)(zai)黑暗環(huan)境中(zhong)測(ce)(ce)(ce)(ce)量溫(wen)(wen)度(du)而(er)(er)不(bu)受(shou)光(guang)(guang)線(xian)影響。此(ci)外，圖像經(jing)過處理并(bing)轉化為特定的(de)(de)(de)(de)(de)(de)(de)顏色分(fen)布圖。這(zhe)(zhe)(zhe)減少了(le)(le)(le)(le)數據泄露并(bing)解決(jue)了(le)(le)(le)(le)與光(guang)(guang)學(xue)相(xiang)機(ji)相(xiang)關的(de)(de)(de)(de)(de)(de)(de)問(wen)題。我們(men)提出了(le)(le)(le)(le)一(yi)種(zhong)(zhong)(zhong)(zhong)(zhong)結(jie)(jie)合(he)毫(hao)米(mi)(mi)波(bo)雷(lei)(lei)達(da)(da)(da)(da)與熱成(cheng)(cheng)(cheng)像技(ji)(ji)(ji)術(shu)(shu)(shu)及(ji)深度(du)學(xue)習的(de)(de)(de)(de)(de)(de)(de)大(da)動(dong)(dong)(dong)作(zuo)手勢(shi)識(shi)別(bie)系統。由于(yu)無需直接(jie)接(jie)觸設(she)備，也緩(huan)解了(le)(le)(le)(le)與攝像頭拍攝人(ren)臉相(xiang)關的(de)(de)(de)(de)(de)(de)(de)隱私顧慮(lv)。

II. 系統概述

系統(tong)的(de)(de)架構(gou)如圖1所示。當用戶(hu)做出(chu)手(shou)勢(shi)(shi)(shi)時(shi)，BM201-PC3毫米波(bo)雷達(da)收集點云信息(xi)。然(ran)后(hou)，Jetson Xavier NX嵌(qian)入(ru)式評(ping)估板處理這些數據，輸出(chu)時(shi)間序列結(jie)果，以識(shi)別(bie)如圖2所示的(de)(de)五個周期(qi)性(xing)動態手(shou)勢(shi)(shi)(shi)。我(wo)們使用YOLOv7訓練了(le)一個手(shou)勢(shi)(shi)(shi)圖像(xiang)識(shi)別(bie)模型，將該(gai)模型導入(ru)Jetson Xavier NX，并使用Lepton 3.5熱成(cheng)像(xiang)儀實時(shi)捕捉手(shou)勢(shi)(shi)(shi)圖像(xiang)信息(xi)。Jetson Xavier NX用于實時(shi)分(fen)(fen)析(xi)和記錄手(shou)勢(shi)(shi)(shi)圖像(xiang)的(de)(de)移動，輸出(chu)時(shi)間序列數據作為(wei)結(jie)果。在分(fen)(fen)析(xi)了(le)毫米波(bo)雷達(da)和熱成(cheng)像(xiang)儀的(de)(de)數據之后(hou)，手(shou)勢(shi)(shi)(shi)結(jie)果會(hui)通過音頻(pin)反饋(kui)給用戶(hu)。

系統架構

Fig. 1.系統架構

Fig. 2.五個周(zhou)期性動態手勢(shi)。

A. 手部紅外圖(tu)像(xiang)的(de)圖(tu)像(xiang)處理

人(ren)體手掌的溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)范圍大約在(zai)(zai)(zai)(zai)30至(zhi)35攝氏(shi)度(du)(du)(du)(du)(du)之間(jian)(jian)。本研究提(ti)出了兩種圖(tu)(tu)(tu)像顏(yan)色(se)(se)(se)(se)(se)轉(zhuan)(zhuan)(zhuan)換的方法：單色(se)(se)(se)(se)(se)轉(zhuan)(zhuan)(zhuan)換和多(duo)色(se)(se)(se)(se)(se)轉(zhuan)(zhuan)(zhuan)換。在(zai)(zai)(zai)(zai)單色(se)(se)(se)(se)(se)轉(zhuan)(zhuan)(zhuan)換中(zhong)，通過(guo)熱(re)成像儀檢測(ce)物體發出的紅(hong)外輻射能量，然后將其(qi)轉(zhuan)(zhuan)(zhuan)換為(wei)溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)數(shu)據。當溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)低(di)(di)于30攝氏(shi)度(du)(du)(du)(du)(du)時(shi)，像素(su)(su)(su)(su)被過(guo)濾(lv)掉，并不顯(xian)(xian)(xian)(xian)示(shi)顏(yan)色(se)(se)(se)(se)(se)。然而(er)(er)，超(chao)過(guo)30攝氏(shi)度(du)(du)(du)(du)(du)的像素(su)(su)(su)(su)則轉(zhuan)(zhuan)(zhuan)換為(wei)紅(hong)色(se)(se)(se)(se)(se)并顯(xian)(xian)(xian)(xian)示(shi)出來。但是，較高的體溫(wen)(wen)(wen)或室溫(wen)(wen)(wen)可能會導致物體在(zai)(zai)(zai)(zai)圖(tu)(tu)(tu)像中(zhong)顯(xian)(xian)(xian)(xian)示(shi)為(wei)紅(hong)色(se)(se)(se)(se)(se)，從而(er)(er)導致手部區域與背(bei)景重疊，造成手部圖(tu)(tu)(tu)像特征(zheng)模糊或不存(cun)在(zai)(zai)(zai)(zai)，如圖(tu)(tu)(tu)3所示(shi)。因此，我們提(ti)出了一個多(duo)色(se)(se)(se)(se)(se)轉(zhuan)(zhuan)(zhuan)換的方法。首先，在(zai)(zai)(zai)(zai)室內(nei)冬季(ji)環境(jing)下進行了測(ce)試，室溫(wen)(wen)(wen)約為(wei)22至(zhi)26攝氏(shi)度(du)(du)(du)(du)(du)。如果(guo)沒(mei)有(you)劇烈運動，手部的測(ce)量溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)范圍在(zai)(zai)(zai)(zai)30至(zhi)36攝氏(shi)度(du)(du)(du)(du)(du)之間(jian)(jian)。如果(guo)有(you)直射陽光或房(fang)間(jian)(jian)內(nei)有(you)電腦，則熱(re)成像儀記錄(lu)的溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)高于36攝氏(shi)度(du)(du)(du)(du)(du)。多(duo)色(se)(se)(se)(se)(se)轉(zhuan)(zhuan)(zhuan)換的詳細信息見表(biao)(biao)I。在(zai)(zai)(zai)(zai)顯(xian)(xian)(xian)(xian)示(shi)手掌溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)時(shi)，低(di)(di)于30攝氏(shi)度(du)(du)(du)(du)(du)的像素(su)(su)(su)(su)被過(guo)濾(lv)掉并保(bao)持黑色(se)(se)(se)(se)(se)。溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)在(zai)(zai)(zai)(zai)30至(zhi)32攝氏(shi)度(du)(du)(du)(du)(du)之間(jian)(jian)的像素(su)(su)(su)(su)顯(xian)(xian)(xian)(xian)示(shi)為(wei)紅(hong)色(se)(se)(se)(se)(se)，而(er)(er)32至(zhi)34攝氏(shi)度(du)(du)(du)(du)(du)之間(jian)(jian)的像素(su)(su)(su)(su)則顯(xian)(xian)(xian)(xian)示(shi)為(wei)橙(cheng)色(se)(se)(se)(se)(se)。黃(huang)色(se)(se)(se)(se)(se)像素(su)(su)(su)(su)代表(biao)(biao)34至(zhi)36攝氏(shi)度(du)(du)(du)(du)(du)之間(jian)(jian)的溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)，紫色(se)(se)(se)(se)(se)像素(su)(su)(su)(su)表(biao)(biao)示(shi)溫(wen)(wen)(wen)度(du)(du)(du)(du)(du)高于36攝氏(shi)度(du)(du)(du)(du)(du)。這種多(duo)色(se)(se)(se)(se)(se)轉(zhuan)(zhuan)(zhuan)換用于減少其(qi)他環境(jing)因素(su)(su)(su)(su)對手部特征(zheng)的掩蓋(gai)影響。

Fig. 3.在(zai)較高環境溫度(du)下的熱圖(tu)像

B. 手部圖像檢測

在這項研(yan)究(jiu)中，使用(yong)YOLOv7來訓(xun)(xun)(xun)練(lian)手(shou)(shou)部(bu)圖(tu)像(xiang)檢測(ce)(ce)模型(xing)(xing)。收集(ji)(ji)(ji)(ji)了(le)(le)(le)(le)兩組訓(xun)(xun)(xun)練(lian)樣本數(shu)(shu)據(ju)(ju)集(ji)(ji)(ji)(ji)，一(yi)組是單色轉換圖(tu)像(xiang)，另一(yi)組是多色轉換圖(tu)像(xiang)，均(jun)(jun)來自熱成(cheng)像(xiang)儀。兩個(ge)(ge)數(shu)(shu)據(ju)(ju)集(ji)(ji)(ji)(ji)中總(zong)共(gong)有437張照(zhao)片，均(jun)(jun)由(you)同一(yi)個(ge)(ge)人(ren)拍攝。在訓(xun)(xun)(xun)練(lian)之前(qian)，使用(yong)Labeling圖(tu)像(xiang)標注工具(ju)對物體進(jin)行(xing)標注。設(she)計的分(fen)類包括手(shou)(shou)部(bu)圖(tu)像(xiang)和(he)個(ge)(ge)人(ren)，如圖(tu)4所示。Roboflow網(wang)(wang)站用(yong)于數(shu)(shu)據(ju)(ju)增(zeng)強和(he)數(shu)(shu)據(ju)(ju)集(ji)(ji)(ji)(ji)分(fen)割。在數(shu)(shu)據(ju)(ju)集(ji)(ji)(ji)(ji)分(fen)割設(she)置中，95%的數(shu)(shu)據(ju)(ju)分(fen)配(pei)(pei)給了(le)(le)(le)(le)訓(xun)(xun)(xun)練(lian)集(ji)(ji)(ji)(ji)，3%分(fen)配(pei)(pei)給了(le)(le)(le)(le)測(ce)(ce)試集(ji)(ji)(ji)(ji)，2%分(fen)配(pei)(pei)給了(le)(le)(le)(le)驗證集(ji)(ji)(ji)(ji)。手(shou)(shou)部(bu)模型(xing)(xing)使用(yong)Google Colab上的YOLOv7手(shou)(shou)部(bu)圖(tu)像(xiang)識別模型(xing)(xing)進(jin)行(xing)訓(xun)(xun)(xun)練(lian)。模型(xing)(xing)以批量大(da)小為(wei)8進(jin)行(xing)了(le)(le)(le)(le)80次(ci)迭代的訓(xun)(xun)(xun)練(lian)。結果隨后被保存。我(wo)們收集(ji)(ji)(ji)(ji)了(le)(le)(le)(le)每個(ge)(ge)手(shou)(shou)勢(shi)的點云信(xin)息并對數(shu)(shu)據(ju)(ju)進(jin)行(xing)了(le)(le)(le)(le)預處(chu)理，以生成(cheng)時間序列特征數(shu)(shu)據(ju)(ju)。最后，我(wo)們將數(shu)(shu)據(ju)(ju)導入(ru)神(shen)經(jing)網(wang)(wang)絡(luo)進(jin)行(xing)模型(xing)(xing)訓(xun)(xun)(xun)練(lian)并生成(cheng)模型(xing)(xing)文件。

圖4. 物體標注示例：(a) 手部 和 (b) 人物

C. 毫米波手(shou)勢點(dian)云數據

毫(hao)(hao)米波(bo)(bo)雷達(da)生(sheng)成了(le)帶有速度(du)信(xin)(xin)息(xi)的(de)目標點(dian)云數據。點(dian)云數據由(you)毫(hao)(hao)米波(bo)(bo)雷達(da)收集，用于訓練(lian)神經網絡。模型訓練(lian)過程如圖(tu)5所示(shi)。在毫(hao)(hao)米波(bo)(bo)點(dian)云測(ce)(ce)(ce)量屏幕上，圖(tu)6展示(shi)了(le)毫(hao)(hao)米波(bo)(bo)雷達(da)檢測(ce)(ce)(ce)當前范圍內運(yun)動的(de)可視化點(dian)云圖(tu)像(xiang)。圖(tu)6(b)顯示(shi)了(le)手部快速前后移動所產(chan)生(sheng)的(de)點(dian)云信(xin)(xin)息(xi)。框(kuang)表示(shi)毫(hao)(hao)米波(bo)(bo)雷達(da)的(de)測(ce)(ce)(ce)量范圍。

圖5. 訓練(lian)手勢識別模型(xing)的流程(cheng)

圖6. (a) 做(zuo)手(shou)勢(shi) 和 (b) 毫米波點云屏幕

表I. 熱成像儀溫度(du)與多色轉換對照表

收集的點云數據包括仰角、方位角、多普勒速度、距離（到雷達的距離）和信噪比（SNR）。我們使用點云數據中的仰角（ψψ）、方位角（θθ）和距離（RR）來計算點云的x、y和z位置。圖7顯示了毫米波坐標軸的定義。三個值——仰角、方位角和距離，被轉換為點云的笛卡爾坐標，如公式（1）所示。

笛卡爾坐標轉換公式（假設公式（1）如下）：

x=R?cos?(θ)?sin?(ψ)

y=R?sin?(θ)?sin?(ψ)

z=R?cos?(ψ)

這里，ψ 是仰角，θ 是方位角，R 是距離。通過這些角度和距離值，我們可以確定點云在三維空間中的確切位置。

圖7. BM201-PC3 毫(hao)米波坐標軸定(ding)義

D. 點云(yun)數據的預處理

我(wo)們對點(dian)云(yun)(yun)數據進行了預處(chu)理。為了濾除(chu)環境噪聲，我(wo)們保留了手部點(dian)云(yun)(yun)的數據并提(ti)取(qu)了其時間序列特(te)征信(xin)息。毫米波雷達測量(liang)得(de)到(dao)的點(dian)云(yun)(yun)數據經過疊加、最(zui)大速度(du)限(xian)制處(chu)理后(hou)，先(xian)進行了基于密度(du)的空間聚(ju)類算法（DBSCAN），然后(hou)進行配準、K均值(zhi)聚(ju)類、第二次DBSCAN處(chu)理，最(zui)后(hou)提(ti)取(qu)出時間序列特(te)征數據。最(zui)終(zhong)，提(ti)取(qu)的時間序列特(te)征被標準化(hua)并導入神經網絡進行訓(xun)練。

為了(le)(le)訓練(lian)手勢識別模型(xing)，我(wo)們記錄了(le)(le)每個(ge)手勢的點云(yun)(yun)數(shu)據(ju)。毫米(mi)波(bo)雷(lei)(lei)達(da)在(zai)一個(ge)瞬間(jian)檢(jian)測到的點云(yun)(yun)分(fen)布被(bei)稱為一幀，毫米(mi)波(bo)雷(lei)(lei)達(da)被(bei)設定為連續檢(jian)測200幀。這(zhe)200幀的點云(yun)(yun)數(shu)據(ju)然(ran)后(hou)在(zai)同(tong)一數(shu)組上(shang)進行疊加，得到了(le)(le)181條記錄。詳細(xi)的流程如圖8所示(shi)。

圖8. 同一(yi)陣列上疊加點(dian)云數據的流(liu)程

當用戶揮手做(zuo)手勢(shi)時，手部的(de)(de)移(yi)動速度大(da)致相同，不會太快(kuai)。如果存在速度過(guo)高的(de)(de)點(dian)(dian)(dian)云，很可(ke)能(neng)是(shi)(shi)噪聲(sheng)點(dian)(dian)(dian)。因此，我(wo)們移(yi)除了(le)速度大(da)于2米/秒(miao)的(de)(de)點(dian)(dian)(dian)云數據，以消除過(guo)高的(de)(de)速度值。接著，我(wo)們使(shi)用了(le)Scikit-Learn庫中的(de)(de)DBSCAN算(suan)法來過(guo)濾掉任何異常值。這一(yi)點(dian)(dian)(dian)非常重要，因為這些異常值可(ke)能(neng)是(shi)(shi)由環境造成的(de)(de)，而(er)不是(shi)(shi)我(wo)們關(guan)注的(de)(de)手部和身體的(de)(de)點(dian)(dian)(dian)云信(xin)息。第一(yi)次DBSCAN處理后的(de)(de)逆時針手勢(shi)點(dian)(dian)(dian)云如圖9所(suo)示。

圖(tu)9. 逆時針手勢點(dian)云數據的預(yu)處(chu)理

D. 注冊的目的

注冊的(de)(de)(de)(de)(de)目的(de)(de)(de)(de)(de)是將位于不(bu)同位置(zhi)(zhi)的(de)(de)(de)(de)(de)點(dian)(dian)云(yun)旋轉和(he)平移到(dao)一(yi)個(ge)固定的(de)(de)(de)(de)(de)參考點(dian)(dian)，以便于后(hou)續的(de)(de)(de)(de)(de)數據處(chu)理并提高識(shi)別準(zhun)確性。為(wei)了分離手部(bu)和(he)身體的(de)(de)(de)(de)(de)點(dian)(dian)云(yun)信(xin)(xin)息(xi)，我們(men)使用了Scikit-Learn庫中的(de)(de)(de)(de)(de)K均(jun)值聚類算(suan)法(fa)將點(dian)(dian)云(yun)數據分為(wei)兩(liang)類：手部(bu)和(he)身體。接著，為(wei)了過濾(lv)掉剩余的(de)(de)(de)(de)(de)身體點(dian)(dian)云(yun)信(xin)(xin)息(xi)，進行了第二(er)次DBSCAN處(chu)理。然后(hou)，我們(men)從預處(chu)理后(hou)的(de)(de)(de)(de)(de)手部(bu)點(dian)(dian)云(yun)信(xin)(xin)息(xi)中提取(qu)了時(shi)間(jian)序列(lie)特征數據。設(she)計的(de)(de)(de)(de)(de)手勢是動態且周期(qi)性的(de)(de)(de)(de)(de)，僅憑外(wai)觀難以區(qu)分和(he)生成點(dian)(dian)云(yun)信(xin)(xin)息(xi)。因(yin)此(ci)，必須(xu)從預處(chu)理后(hou)的(de)(de)(de)(de)(de)手部(bu)點(dian)(dian)云(yun)信(xin)(xin)息(xi)中提取(qu)時(shi)間(jian)序列(lie)特征信(xin)(xin)息(xi)。每20幀包(bao)含四個(ge)特征值，包(bao)括歸(gui)一(yi)化的(de)(de)(de)(de)(de)x、y和(he)z坐(zuo)標位置(zhi)(zhi)以及(ji)歸(gui)一(yi)化的(de)(de)(de)(de)(de)速(su)度值。

E. 毫米波手勢檢測模型

在這項研究中，使用(yong)PyTorch構建了三種類型的(de)(de)神(shen)(shen)經網絡(luo)，即循(xun)環神(shen)(shen)經網絡(luo)（RNN）、長短期記(ji)憶網絡(luo)（LSTM）和門控(kong)循(xun)環單元(yuan)（GRU）。對(dui)(dui)于同(tong)一個(ge)(ge)體，記(ji)錄(lu)了每(mei)個(ge)(ge)手勢(shi)的(de)(de)200幀(zhen)點(dian)(dian)云(yun)數(shu)(shu)(shu)據(ju)(ju)。每(mei)個(ge)(ge)手勢(shi)收集(ji)了16個(ge)(ge)樣本。五個(ge)(ge)手勢(shi)的(de)(de)總(zong)點(dian)(dian)云(yun)數(shu)(shu)(shu)據(ju)(ju)量為(wei)16,000幀(zhen)。經過預(yu)處(chu)理(li)后，對(dui)(dui)于每(mei)個(ge)(ge)樣本生(sheng)成了181條(tiao)時間序(xu)(xu)列(lie)特(te)(te)征(zheng)數(shu)(shu)(shu)據(ju)(ju)。經過預(yu)處(chu)理(li)后，每(mei)個(ge)(ge)手勢(shi)生(sheng)成了2,896條(tiao)時間序(xu)(xu)列(lie)特(te)(te)征(zheng)數(shu)(shu)(shu)據(ju)(ju)，五個(ge)(ge)手勢(shi)總(zong)共生(sheng)成了14,480條(tiao)時間序(xu)(xu)列(lie)特(te)(te)征(zheng)數(shu)(shu)(shu)據(ju)(ju)。模(mo)型訓練完成后，我們將訓練好的(de)(de)模(mo)型導(dao)入Jetson Xavier NX進(jin)行手勢(shi)識別。當(dang)程(cheng)序(xu)(xu)啟動時，毫米波雷達處(chu)于待機模(mo)式。如果在一米范圍內檢測到物體，程(cheng)序(xu)(xu)暫停。收集(ji)20幀(zhen)點(dian)(dian)云(yun)數(shu)(shu)(shu)據(ju)(ju)后，揚(yang)聲器播放(fang)“停止”語(yu)音，收集(ji)的(de)(de)點(dian)(dian)云(yun)數(shu)(shu)(shu)據(ju)(ju)被存儲(chu)。數(shu)(shu)(shu)據(ju)(ju)通過Jetson Xavier NX進(jin)行預(yu)處(chu)理(li)，處(chu)理(li)后的(de)(de)時間序(xu)(xu)列(lie)特(te)(te)征(zheng)數(shu)(shu)(shu)據(ju)(ju)被導(dao)入神(shen)(shen)經網絡(luo)模(mo)型。預(yu)測手勢(shi)并播放(fang)預(yu)測的(de)(de)手勢(shi)語(yu)音。

III. 結果與討論

在手部圖像(xiang)識(shi)別(bie)中(zhong)(zhong)，獲得了(le)熱(re)成像(xiang)儀(yi)的訓(xun)練結(jie)果和(he)手勢識(shi)別(bie)模型的訓(xun)練結(jie)果。其中(zhong)(zhong)，手勢識(shi)別(bie)被(bei)分(fen)為以下兩個部分(fen)：毫米波(bo)雷達手勢識(shi)別(bie)和(he)結(jie)合毫米波(bo)雷達與熱(re)成像(xiang)儀(yi)的手勢識(shi)別(bie)。

?A. 熱成像儀的手部圖像識別

與RGB相(xiang)機不(bu)同，當熱成像(xiang)儀捕捉圖(tu)像(xiang)時(shi)(shi)，它會(hui)過(guo)濾掉(diao)溫度(du)低(di)于閾值的區域。對(dui)于溫度(du)高(gao)于閾值的區域，圖(tu)像(xiang)會(hui)進(jin)(jin)行(xing)顏色(se)(se)轉換(huan)。圖(tu)10展示了(le)兩(liang)種主(zhu)要的手部圖(tu)像(xiang)識別訓(xun)練(lian)(lian)(lian)數(shu)(shu)據集(ji)類型(xing)。在(zai)單色(se)(se)轉換(huan)中，圖(tu)像(xiang)中溫度(du)高(gao)于30°C的區域被轉換(huan)為(wei)紅(hong)色(se)(se)，同時(shi)(shi)過(guo)濾掉(diao)溫度(du)低(di)于30°C的區域。在(zai)多色(se)(se)轉換(huan)中，根據溫度(du)區間將圖(tu)像(xiang)轉換(huan)為(wei)不(bu)同的顏色(se)(se)。我們對(dui)這兩(liang)個(ge)訓(xun)練(lian)(lian)(lian)數(shu)(shu)據集(ji)進(jin)(jin)行(xing)了(le)數(shu)(shu)據增(zeng)強。數(shu)(shu)據集(ji)由808張(zhang)照片組成，分為(wei)768張(zhang)訓(xun)練(lian)(lian)(lian)集(ji)圖(tu)像(xiang)、23張(zhang)驗證集(ji)圖(tu)像(xiang)和17張(zhang)測試集(ji)圖(tu)像(xiang)。然后，訓(xun)練(lian)(lian)(lian)數(shu)(shu)據集(ji)進(jin)(jin)行(xing)了(le)80次迭代。圖(tu)11顯(xian)示了(le)訓(xun)練(lian)(lian)(lian)后的模(mo)型(xing)損失函數(shu)(shu)。單色(se)(se)轉換(huan)訓(xun)練(lian)(lian)(lian)模(mo)型(xing)的收斂效果(guo)不(bu)如多色(se)(se)轉換(huan)訓(xun)練(lian)(lian)(lian)模(mo)型(xing)。

這(zhe)句話總結了使用熱成像儀進(jin)行手部圖(tu)像識(shi)別時的(de)(de)不同處理方法及其效果(guo)，并指(zhi)出了單色轉換(huan)和多(duo)色轉換(huan)在(zai)模型訓(xun)練上的(de)(de)差異(yi)。如果(guo)您有(you)圖(tu)10和圖(tu)11的(de)(de)具(ju)體內容或(huo)需要進(jin)一步解(jie)釋，請提供更多(duo)信息。

圖10. (a) 單色轉換(huan)。 (b) 多色轉換(huan)

圖11. (a) 單色轉換的損失(shi)函(han)數(shu) 和 (b) 多色轉換的損失(shi)函(han)數(shu)

在實(shi)際場地測(ce)試(shi)中，單色(se)轉換(huan)的性能受(shou)到了(le)環(huan)境(jing)(jing)溫(wen)度和(he)體(ti)溫(wen)的影響。具體(ti)來說，當(dang)溫(wen)度略高(gao)或(huo)體(ti)溫(wen)較高(gao)時，圖(tu)(tu)像(xiang)中的著色(se)區域傾向(xiang)于與背景(jing)(jing)混合(he)，如(ru)圖(tu)(tu)12(a)所示。這導致了(le)較差的識別(bie)效果(guo)，因為(wei)手(shou)部(bu)(bu)圖(tu)(tu)像(xiang)的特征無法被準(zhun)確(que)檢測(ce)。測(ce)試(shi)了(le)多色(se)轉換(huan)模(mo)型，結果(guo)如(ru)圖(tu)(tu)12(b)所示。在測(ce)試(shi)期間，環(huan)境(jing)(jing)和(he)體(ti)溫(wen)較高(gao)，圖(tu)(tu)像(xiang)中的著色(se)區域占據了(le)大(da)(da)部(bu)(bu)分屏幕。然而，通過使用(yong)多色(se)轉換(huan)技(ji)術，手(shou)部(bu)(bu)圖(tu)(tu)像(xiang)的特征并未(wei)與背景(jing)(jing)混合(he)，這大(da)(da)大(da)(da)提高(gao)了(le)識別(bie)率和(he)準(zhun)確(que)性，即使在背景(jing)(jing)復(fu)雜的情況下也(ye)是如(ru)此。

圖11. (a) 單(dan)色轉換的(de)損(sun)(sun)失函數 和 (b) 多色轉換的(de)損(sun)(sun)失函數

圖(tu)12. (a) 單色轉換的手部圖(tu)像(xiang)識(shi)別 和 (b) 多色轉換的手部圖(tu)像(xiang)識(shi)別

表II顯示了(le)單(dan)色(se)轉換與多色(se)轉換之(zhi)間的(de)比較(jiao)。多色(se)轉換相比單(dan)色(se)轉換顯示出更高的(de)準(zhun)確性

表II. 單色轉換與多色轉換的準確性對比