聽障人士在香港的支援有限,而且他們的溝通語言——手語對大眾來說頗難理解,造成「當事人是一座孤島」的感覺。為了改善這種情況,有香港大專學生研發一款名為「Hear Inclusive」的手機App,可將文字即時翻譯成手語動畫,使聽障人士能夠更容易地理解溝通的內容,從而提升他們的日常生活體驗。
「外國的做法是透過人手一幅幅畫出來,所以整個過程非常耗時!」——Hear Inclusive 團隊
//像『早餐吃漢堡』這樣的句子,在手語中的邏輯會是『漢堡吃早餐』。//
團隊成員馬寶軒(Mable)指出:「手語的語言結構與我們的語言系統有所不同。舉例來說,像『早餐吃漢堡』這樣的句子,在手語中的邏輯會是『漢堡吃早餐』。」對於以手語為第一語言的族群來說,閱讀及理解文字並不容易。為解決聽障人士的生活痛點,Hear Inclusive為使用手語的族群,打造一個更加無障礙的資訊接收解決方案,讓他們能更輕鬆地融入社會環境中。
另一成員黃積安(Jacky)介紹,團隊利用自然語言處理(NLP),來將文字資源切割成詞彙,並使用機器學習來分析人體的關節,以捕捉人體骨架,進而將手語影片錄製到數據庫中。這種方法是根據不同的詞彙,從數據庫中調取預先準備好的影片,實現實時的文字到手語的傳譯。
程式從數據庫中調取準備好的影片。
手語語言結構有別於常用語言系統。
//手語不僅僅涉及手部動作,臉部表情也是非常重要的一部分!//
研發完成後,團隊曾邀請聽障人士進行實際測試。「他們建議說,我們應該更加突出動畫人物的表情,因為手語不僅僅涉及手部動作,臉部表情也是非常重要的一部分!」雖然「手語」以手部動作為主,但聽障人士傳遞重要的語言訊息,並不僅限於手部動作。他們還會利用身體擺動、頭部動作以及面部表情等多種方式。例如當提問時,他們會注視對方的雙眼,微微傾身,眼睛稍微睜大,眉毛上揚,以示他們正在提問。
找到目標後,讀對課程行出對的路。
獲香港資訊及通訊科技獎
「我們從聽障朋友那裡得知,原來在外國有人專門將文字轉換成手語動畫。不過外國的做法是透過人手一幅幅畫出來,所以整個過程非常耗時!這種方法使得將整部影片轉換成手語動畫,變得相當困難。」Mable表示,聽障朋友都非常期待這個項目的誕生,因為這將有助於他們更好地觀看影片等內容。在2023年,Hear Inclusive獲得香港資訊及通訊科技獎中的「學生創新(大專及學士)獎」銅獎。
團隊獲資訊及通訊科技獎。
有付出,有回報。
【找到人生目標 自學編程升呢】
Hear Inclusive不僅解決了聽障人士的生活困境,Mable的故事本身也是一個勵志的逆轉篇章。因為不願意將未來工作局限在自己不喜歡的領域,Mable花了四年時間尋找人生方向。
後來,在一份小學IT助理的工作中,他發現協助同事解決電腦問題的過程中獲得了成功感,故逐漸自學編程,更深信科技可以提升工作效率和生活品質。
找到了自己的目標後,Mable重新踏上學習的旅程,修讀香港專業教育學院(沙田)的軟件工程高級文憑。他的努力和決心,成就了Hear Inclusive的誕生。
將文字資源切割成詞彙,用機器學習來分析人體關節。
沙田
民生
專訪
生活
學習
科技
社區人家