Hareket geçmişi görüntüsü yöntemi ile Türkçe işaret dilini tanima uygulaması

Abstract

İşitme ve konuşma engelli bireylerin toplum içerisinde diger bireylerle sağlıklı şekilde iletişim kurabilmeleri açısından işaret dili çok önemli bir role sahiptir. Ne yazık ki işaret dilinin toplumda sadece duyarlı insanlar tarafından bilindiği ve bu sayının da azlıgı dikkat çekmektedir. Yaptığımız çalışma kapsamındaki amaç, geliştirdiğimiz sistem sayesinde işitme veya konuşma engeli mevcut olan bireylerin diğer bireylerle olan iletişiminde iyileşme sağlamaktır. Bu amaç doğrultusunda kameradan alınan işaret diline ait hareket bilgisi tanınabilmekte ve o hareketin ne anlama geldiği daha önceden eğitilen işaret diline ait hareket bilgileri ile karşılaştırılarak bulunabilmektedir. Hareket bilgilerinin kameradan alınan görüntülerden çıkarılması aşamasında "Hareket Geçmişi Görüntüsü" yöntemi kullanılmıştır. Bu bağlamdaki sınıflandırma işlemi için de "En Yakın Komşuluk" algoritması kullanılmıştır. Sonuç olarak geliştirilen sistem, eğitim kümesini kullanarak işaret dili hareketi için bir metin tahmin etmektedir. Toplamdaki sınıflandırma başarısı %95 olarak hesaplanmıştır.

Recognizing sign language is an important interest area since there are many speech and hearing impaired people in the world. They need to be understood by other people and understand them as well. Unfortunately, the number of people who have the knowledge of sign language is not many. In order to communicate with handicapped people, existence of some automatized systems may be helpful. Therefore, in this work, we aimed to implement a system that recognizes the sign language and converts it to text to help people while communicating with each other where the input scene is taken from camera. We produced a training data which includes eight different sign language videos. After that, we used Motion History Images(MHI) to extract the motion information from them. A classification is done by using nearest neighbor approach after extracting the features from MHI of videos. As a result, by using training data, our system predicts the text for given sign language. The overall classification accuracy is computed as 95%. © 2016 IEEE.