Hareket geçmişi görüntüsü yöntemi ile Türkçe işaret dilini tanima uygulaması
Date
2016-05Source Title
24th Signal Processing and Communication Application Conference, SIU 2016 - Proceedings
Publisher
IEEE
Pages
801 - 804
Language
Turkish
Type
Conference PaperItem Usage Stats
282
views
views
305
downloads
downloads
Abstract
İşitme ve konuşma engelli bireylerin toplum
içerisinde diger bireylerle sağlıklı şekilde iletişim kurabilmeleri açısından işaret dili çok önemli bir role sahiptir. Ne yazık ki işaret dilinin toplumda sadece duyarlı insanlar tarafından bilindiği ve bu sayının da azlıgı dikkat çekmektedir. Yaptığımız çalışma kapsamındaki amaç, geliştirdiğimiz sistem sayesinde işitme veya konuşma engeli mevcut olan bireylerin diğer bireylerle olan iletişiminde iyileşme sağlamaktır. Bu amaç doğrultusunda kameradan alınan işaret diline ait hareket bilgisi tanınabilmekte ve
o hareketin ne anlama geldiği daha önceden eğitilen işaret diline ait hareket bilgileri ile karşılaştırılarak bulunabilmektedir.
Hareket bilgilerinin kameradan alınan görüntülerden çıkarılması aşamasında "Hareket Geçmişi Görüntüsü" yöntemi kullanılmıştır. Bu bağlamdaki sınıflandırma işlemi için de "En Yakın Komşuluk" algoritması kullanılmıştır. Sonuç olarak geliştirilen sistem, eğitim kümesini kullanarak işaret dili hareketi için bir metin tahmin etmektedir. Toplamdaki sınıflandırma başarısı %95 olarak hesaplanmıştır. Recognizing sign language is an important interest area since there are many speech and hearing impaired people in the world. They need to be understood by other people and understand them as well. Unfortunately, the number of people who have the knowledge of sign language is not many. In order to communicate with handicapped people, existence of some automatized systems may be helpful. Therefore, in this work, we aimed to implement a system that recognizes the sign language and converts it to text to help people while communicating with each other where the input scene is taken from camera. We produced a training data which includes eight different sign language videos. After that, we used Motion History Images(MHI) to extract the motion information from them. A classification is done by using nearest neighbor approach after extracting the features from MHI of videos. As a result, by using training data, our system predicts the text for given sign language. The overall classification accuracy is computed as 95%. © 2016 IEEE.
Keywords
Motion history image(MHI)Nearest neighbor
Sign language
Audition
Character recognition
Computational linguistics
Germanium
Motion analysis
Motion estimation
Classification accuracy
Motion history images
Motion information
Motion recognition
Nearest neighbors
Nearest-neighbor approaches
Sign language
Sign language recognition
Signal processing
Permalink
http://hdl.handle.net/11693/37710Published Version (Please cite this version)
http://dx.doi.org/10.1109/SIU.2016.7495861Collections
Related items
Showing items related by title, author, creator and subject.
-
Rapid inference of object rigidity and reflectance using optic flow
Zang, D.; Doerschner, Katja; Schrater P.R. (Springer, Berlin, Heidelberg, 2009)Rigidity and reflectance are key object properties, important in their own rights, and they are key properties that stratify motion reconstruction algorithms. However, the inference of rigidity and reflectance are both ... -
Image sequence analysis for emerging interactive multimedia services-the European COST 211 framework
Alatan, A. A.; Onural, L.; Wollborn, M.; Mech, R.; Tuncel, E.; Sikora, T. (Institute of Electrical and Electronics Engineers, 1998-11)Flexibility and efficiency of coding, content extraction, and content-based search are key research topics in the field of interactive multimedia. Ongoing ISO MPEG-4 and MPEG-7 activities are targeting standardization to ... -
Audiovisual associations alter the perception of low-level visual motion
Kafaligonul H.; Oluk, C. (Frontiers Research Foundation, 2015)Motion perception is a pervasive nature of vision and is affected by both immediate pattern of sensory inputs and prior experiences acquired through associations. Recently, several studies reported that an association can ...