翻譯手語震頻耳機 協助不諳手語者即時理解聾人說話

美國水牛城大學的研究團隊開發了一個能夠「看見」和「翻譯」手語動作的裝置,健聽人士戴上連接手機應用程式的耳機,便可即時聽到聾人打手語所表達的詞句。

圖片來源: University at Buffalo
圖片來源: University at Buffalo

這個名為SonicASL系統的主要組件是經改裝的減噪音耳機,以及安裝了特定應用程式的智能手機。大部分有消減噪音功能的耳機都備有外露的咪高峰,用作收集環境聲音,耳機會產生與噪音此消彼長的聲波,抵銷噪音的聲波,讓耳機用家聽不到噪音。而SonicASL耳機加上了敏感度更高的額外收音器,接收周邊物件移動的聲波,包括手語動作產生的震動。SonicASL的手機應用程式接收有關數據後會作運算,將震動頻率翻譯成字句,然後讀出或變成文字,讓健聽人士明白聾人的手語動作。

研究人員在室內和戶外實驗測試SonicASL,結果顯示,該裝置能夠有效地翻譯94%手語單字,測試內容為42個詞語,包括「愛」、「空間」和「相機」等常用字詞。至於手語短句(如「幸會」、「可幫忙嗎?」),翻譯準確率亦達九成。

研究結果在學術期刊《ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》發表。該套手語翻譯系統的操作原理以「多普勒效應」(Doppler)為基礎,即感應做手語時產生的細微聲波震動和回音。「多普勒效應」指物件移動時產生的聲波或光波頻率會隨之變化。這技術在醫學、天文觀測和雷達等範疇用作測量物件的速度和移動方向。例如我們聽到消防車駛得愈近的時候,警號聲的頻率愈高,聲音愈大;相反當消防車遠去,警號聲的頻率降低,漸漸消逝。

根據世界聾人聯盟的資料,全球約有7,200萬名聾人在使用300多種手語。儘管聯合國確立了手語與口語有同等地位,但在很多國家,手語的通行程度偏低,聽障人士與人溝通和社交面對重重障礙。一直以來,聾人與不諳手語的人溝通時,需要有手語傳譯員在場,或者通過攝錄機即時將手語譯為說話。水牛城大學團隊開發SonicASL的主要目標,在於解決手語傳譯服務供不應求的問題,令聾人不用預先安排,都可以得到優質手語傳譯。

研究人員在辦公室、住宅、走廊和路邊等環境測試,結果發現整體的翻譯準確度良好。不過,在愈嘈雜的環境,翻譯的準確度愈低。

負責該項目的電子計算及工程副教授Jin Zhanpeng說,各種手語系統有不同的發音、字詞組合和排序規律。同一個手勢在不同國家的手語裡有不一樣的意思。SonicASL的主要功能是識別手勢代表的字詞和句子,雖然技術主要針對美國通用手語(ASL),但它的推算模型經過適當訓練後,可適用於其他手語系統。

他又指出,要將SonicASL推出市場,任重道遠,技術仍需努力改進,例如擴大系統能辨別的手語詞彙,令系統有能力閱讀人的面部表情,因為在現實生活中,聾人打手語表達,都是用手勢和面部表情相輔相成的。

社交網站分享:

延伸閱讀