五個(ge)手(shou)勢(shi)的(de)(de)(de)點(dian)(dian)(dian)云數(shu)據經(jing)過預(yu)處(chu)(chu)理(li)并(bing)被分(fen)離。圖13展示(shi)了(le)逆(ni)時(shi)針手(shou)勢(shi)的(de)(de)(de)預(yu)處(chu)(chu)理(li)結果，從(cong)左(zuo)(zuo)到右(you)的(de)(de)(de)處(chu)(chu)理(li)步驟包括(kuo)：疊加、最大速(su)度(du)限制、第(di)一次DBSCAN、對齊、K均值分(fen)離手(shou)部和(he)身體、第(di)二次DBSCAN。提取(qu)了(le)點(dian)(dian)(dian)云的(de)(de)(de)時(shi)間(jian)序(xu)列特(te)征(zheng)(zheng)數(shu)據用于訓練(lian)。為(wei)了(le)加快(kuai)訓練(lian)和(he)數(shu)據處(chu)(chu)理(li)速(su)度(du)，我們對數(shu)據進行了(le)標準化處(chu)(chu)理(li)。具(ju)體來說，我們將(jiang)MinMaxScaler應(ying)用于時(shi)間(jian)序(xu)列特(te)征(zheng)(zheng)數(shu)據的(de)(de)(de)(x, y, z)坐標，將(jiang)數(shu)據縮放至0-1范圍(wei)(wei)。此(ci)外，將(jiang)MaxAbsScaler應(ying)用于時(shi)間(jian)序(xu)列特(te)征(zheng)(zheng)數(shu)據的(de)(de)(de)平(ping)均速(su)度(du)，將(jiang)數(shu)據縮放至-1至1的(de)(de)(de)范圍(wei)(wei)。為(wei)了(le)觀察，我們從(cong)輸出中抽(chou)取(qu)了(le)6幀來觀察點(dian)(dian)(dian)云質(zhi)(zhi)(zhi)心(xin)的(de)(de)(de)變(bian)化。順(shun)時(shi)針手(shou)勢(shi)點(dian)(dian)(dian)云質(zhi)(zhi)(zhi)心(xin)的(de)(de)(de)變(bian)化如圖14所(suo)示(shi)。紅點(dian)(dian)(dian)代(dai)(dai)表(biao)當前(qian)的(de)(de)(de)質(zhi)(zhi)(zhi)心(xin)位置(zhi)，藍點(dian)(dian)(dian)代(dai)(dai)表(biao)之前(qian)的(de)(de)(de)質(zhi)(zhi)(zhi)心(xin)位置(zhi)。順(shun)時(shi)針手(shou)勢(shi)的(de)(de)(de)質(zhi)(zhi)(zhi)心(xin)沿順(shun)時(shi)針方(fang)向(xiang)(xiang)(xiang)移(yi)動(dong)，逆(ni)時(shi)針手(shou)勢(shi)的(de)(de)(de)質(zhi)(zhi)(zhi)心(xin)沿逆(ni)時(shi)針方(fang)向(xiang)(xiang)(xiang)移(yi)動(dong)。類似(si)地，向(xiang)(xiang)(xiang)右(you)手(shou)勢(shi)的(de)(de)(de)質(zhi)(zhi)(zhi)心(xin)水(shui)平(ping)向(xiang)(xiang)(xiang)右(you)移(yi)動(dong)，向(xiang)(xiang)(xiang)左(zuo)(zuo)手(shou)勢(shi)的(de)(de)(de)質(zhi)(zhi)(zhi)心(xin)水(shui)平(ping)向(xiang)(xiang)(xiang)左(zuo)(zuo)移(yi)動(dong)。最后，拳擊手(shou)勢(shi)的(de)(de)(de)質(zhi)(zhi)(zhi)心(xin)垂直向(xiang)(xiang)(xiang)上和(he)向(xiang)(xiang)(xiang)下移(yi)動(dong)。

圖13.逆時針手(shou)勢的預處理結(jie)果

圖14. 順時針手勢點云質心的變化

對于五(wu)個(ge)手(shou)勢，總共有14,480條樣本數據。這些數據被(bei)隨(sui)機(ji)重新(xin)排序，并分(fen)成三(san)組：60%用(yong)(yong)于訓(xun)練，20%用(yong)(yong)于驗證(zheng)，20%用(yong)(yong)于測(ce)試。模(mo)(mo)(mo)型(xing)使用(yong)(yong)GRU、LSTM和RNN進行了40次(ci)迭代的(de)訓(xun)練。圖15展示了這三(san)個(ge)模(mo)(mo)(mo)型(xing)的(de)混(hun)淆矩陣。GRU、LSTM和RNN模(mo)(mo)(mo)型(xing)的(de)預測(ce)準(zhun)確率(lv)(lv)分(fen)別為99.51%、99.37%和81.11%。GRU模(mo)(mo)(mo)型(xing)的(de)表現優于其(qi)他模(mo)(mo)(mo)型(xing)。就模(mo)(mo)(mo)型(xing)預測(ce)時(shi)(shi)間而言，GRU耗(hao)(hao)(hao)時(shi)(shi)0.462毫秒，LSTM耗(hao)(hao)(hao)時(shi)(shi)0.483毫秒，RNN耗(hao)(hao)(hao)時(shi)(shi)0.461毫秒。RNN模(mo)(mo)(mo)型(xing)在(zai)(zai)預測(ce)速(su)度上(shang)最快。盡管(guan)RNN模(mo)(mo)(mo)型(xing)在(zai)(zai)預測(ce)速(su)度上(shang)較快，但在(zai)(zai)準(zhun)確率(lv)(lv)上(shang)不如GRU和LSTM模(mo)(mo)(mo)型(xing)。相比(bi)之下，GRU模(mo)(mo)(mo)型(xing)不僅更(geng)準(zhun)確，而且(qie)在(zai)(zai)時(shi)(shi)間消耗(hao)(hao)(hao)上(shang)也較少。總的(de)來說，GRU在(zai)(zai)訓(xun)練毫米波手(shou)勢識(shi)別模(mo)(mo)(mo)型(xing)方面表現更(geng)好

圖(tu)15. (a) GRU，(b) LSTM，以及 (c) RNN 的(de)混淆(xiao)矩陣

表(biao)III顯示(shi)了(le)三(san)種(zhong)模(mo)型在實際手(shou)勢(shi)識別(bie)測(ce)試中的準確率。在測(ce)試每種(zhong)模(mo)型時(shi)，我們對(dui)每個手(shou)勢(shi)揮(hui)動了(le)10次(ci)，并記錄了(le)手(shou)勢(shi)是否被正確識別(bie)。可以(yi)看出，GRU模(mo)型優(you)于LSTM和RNN模(mo)型。

表III. 三(san)種(zhong)模型在(zai)實(shi)際手勢識別測試中的準確(que)率

C. 結合熱成像儀的毫米波雷達手勢識別

除了毫米波點云數據外，我們還提取了熱成像儀坐標隨時間變化的歸一化時間序列特征數據用于手勢識別。在實際手勢測試中，熱成像儀使用識別(bie)手部圖(tu)像(xiang)并記錄手部圖(tu)像(xiang)坐(zuo)標的(de)隨時(shi)間變化。五個手勢的(de)坐(zuo)標變化結果如(ru)圖(tu)16所示

圖(tu)16. 五個手勢的坐(zuo)標變(bian)化

在手勢識別過程中，毫米波雷達捕獲了20幀的點云數據。然而，用于YOLOv7手部識別的熱成像儀執行速度較慢。在熱成像儀執行12幀手部圖像識別所需的時間內，毫米波雷達可以捕獲20幀數據。如果熱成像儀在某一幀未能檢測到手部圖像，則最終捕獲的時間序列數據少于12幀。為了確保熱成像儀的坐標隨時(shi)間(jian)(jian)變(bian)(bian)化(hua)信息包含在毫(hao)米(mi)波(bo)(bo)時(shi)間(jian)(jian)序列特征數(shu)(shu)據中用(yong)于手(shou)勢模(mo)型(xing)(xing)(xing)訓(xun)練，我們對熱(re)成(cheng)像儀的(de)坐(zuo)標(biao)隨時(shi)間(jian)(jian)變(bian)(bian)化(hua)曲線進行了(le)(le)插值處理(li)。這(zhe)使得(de)數(shu)(shu)據增加(jia)到了(le)(le)20幀而不改(gai)變(bian)(bian)波(bo)(bo)形。數(shu)(shu)據隨后進行了(le)(le)MinMaxScaler歸一化(hua)處理(li)。這(zhe)一過(guo)程重(zhong)復了(le)(le)9次，數(shu)(shu)據被拼接成(cheng)200幀的(de)時(shi)間(jian)(jian)序列數(shu)(shu)據。結合熱(re)成(cheng)像儀和毫(hao)米(mi)波(bo)(bo)雷達(da)的(de)手(shou)勢識別(bie)模(mo)型(xing)(xing)(xing)相較于僅(jin)使用(yong)毫(hao)米(mi)波(bo)(bo)雷達(da)的(de)模(mo)型(xing)(xing)(xing)有所(suo)改(gai)進。在這(zhe)個模(mo)型(xing)(xing)(xing)中，毫(hao)米(mi)波(bo)(bo)的(de)平均速度、熱(re)成(cheng)像儀坐(zuo)標(biao)的(de)時(shi)間(jian)(jian)序列變(bian)(bian)化(hua)以及毫(hao)米(mi)波(bo)(bo)時(shi)間(jian)(jian)序列特征數(shu)(shu)據作為輸入用(yong)于訓(xun)練。同樣地，模(mo)型(xing)(xing)(xing)使用(yong)GRU、LSTM和RNN進行了(le)(le)40次迭代的(de)訓(xun)練。五個手(shou)勢共有14,480條樣本數(shu)(shu)據。這(zhe)些(xie)數(shu)(shu)據被隨機(ji)重(zhong)排，并(bing)分(fen)(fen)成(cheng)三組：60%用(yong)于訓(xun)練，20%用(yong)于驗證，20%用(yong)于測試。圖17展(zhan)示了(le)(le)三個模(mo)型(xing)(xing)(xing)的(de)混淆(xiao)矩陣。GRU、LSTM和RNN模(mo)型(xing)(xing)(xing)的(de)預測準確率分(fen)(fen)別(bie)為100%、100%和98.14%。

圖17. GRU、LSTM和(he)RNN模型的混(hun)淆(xiao)矩陣

表IV顯示了實際手勢識別測試的結果，比較了僅使用毫米波雷達與結合毫米波雷達和熱成像儀的準確性。結合使用毫米波雷達和熱成像儀顯著提高了準確性。
這句話意味(wei)著表IV提供了實際手勢(shi)識別測試中不同配(pei)置(zhi)下的模型準確率對(dui)比。具體來說，表IV展示了僅使用(yong)毫(hao)米波(bo)雷達(da)和結合毫(hao)米波(bo)雷達(da)與熱成像儀兩種(zhong)情況下的準確率。

表格內容示例：

IV. 結論

本研究中，采用(yong)(yong)了(le)一種結(jie)合(he)(he)毫米(mi)波(bo)雷達、熱成(cheng)像儀(yi)和深(shen)度(du)學習的(de)大動(dong)(dong)作手勢識別(bie)系統。熱成(cheng)像儀(yi)捕(bu)捉了(le)手部圖(tu)像的(de)信息(xi)，包(bao)括坐標(biao)運動(dong)(dong)變化。這些(xie)信息(xi)與毫米(mi)波(bo)雷達的(de)點云(yun)數(shu)據(ju)（包(bao)括三維坐標(biao)和速度(du)）結(jie)合(he)(he)，生成(cheng)了(le)時(shi)間序列數(shu)據(ju)。預處理后的(de)數(shu)據(ju)被輸(shu)入(ru)神經網絡(luo)進行(xing)訓(xun)練(lian)，開發出手勢識別(bie)模(mo)型(xing)。Jetson Xavier NX嵌入(ru)式(shi)評估板(ban)實(shi)現(xian)了(le)實(shi)時(shi)手勢識別(bie)。實(shi)驗(yan)結(jie)果表(biao)明，結(jie)合(he)(he)熱成(cheng)像儀(yi)和毫米(mi)波(bo)雷達顯(xian)著提高了(le)手勢識別(bie)的(de)準確性(xing)。此外(wai)，使用(yong)(yong)GRU訓(xun)練(lian)的(de)模(mo)型(xing)在手勢識別(bie)任務中的(de)表(biao)現(xian)優于LSTM和RNN。