Інерційна система розпізнавання жестів
Бічна панель сторінки статті
Основний зміст сторінки статті
Анотація
В роботі розглянуто інерційну систему розпізнавання жестів. Дана система побудована на основі апаратного модуля, що формує образи-жести за допомогою інерційних МЕМС давачів (акселерометра і гіроскопа) та розпізнає отримані образи за допомогою нейронної мережі з BLSTM шаром. Реалізовано прототип запропонованої системи, в якому апаратна частина побудована на мікроконтролері STM32F401RE та мікросхемі МЕМС давачів MPU9250, а розпізнавання жестів виконується на персональному комп’ютері засобами пакету прикладних програм Matlab. За допомогою розробленого прототипу сформовано навчальну та тестову вибірки для трьох типів жестів та показано спроможність підсистеми розпізнавання забезпечити похибку ідентифікації даних жестів не більше 3,5% (коефіцієнт правильного розпізнавання 96,7%).
Блок інформації про статтю
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
Посилання
"World Federation of the Deaf," [Online]. Available: http://wfdeaf.org/faq. [Accessed 22 08 2019].
S. Alashhab, A.-J. Gallego and M. Lozano, "Hand gesture detection with convolutional neural networks," Advances in Intelligent Systems and Computing, p. 45–52, 2018. DOI: 10.1007/978-3-319-94649-8_6.
P. O. Yahanov and I. V. Redko, "Perseptronnyi klasyfikator teplovoho komfortu," Visnyk KNUTD, no. 6 (128), p. 29–38, 2018. DOI: 10.30857/1813-6796.2018.6.3.
J. Tompson, M. Stein, Y. LeCun and K. Perlin, "Real-time continuous pose recovery of human hands using convolutional networks," ACM Transactions on Graphics (ToG), vol. 33, no. 5, p. 169–173, 2014. DOI: 10.1145/2629500.
S. Ji, W. Xu, M. Yang and K. Yu, "3D convolutional neural networks for human action recognition," IEEE transactions on pattern analysis and machine intelligence (TPAMI), vol. 35, no. 1, p. 221–231, 2013. DOI: 10.1109/TPAMI.2012.59.
N. Nishida and H. Nakayama, "Multimodal gesture recognition using multi-stream recurrent neural network," Image and Video Technology PSIVT 2015. Lecture Notes pn Computer Science, vol. 9431, p. 682–694, 2015. DOI: 10.1007/978-3-319-29451-3_54.
N. Neverova, C. Wolf, G. W. Taylor and F. Nebout, "Multi-scale deep learning for gesture detection and localization," Computer Vision – ECCV 2014 Workshops. ECCV. Lecture Notes in Computer Science, vol. 8925, p. 474–490, 2014. DOI: 10.1007/978-3-319-16178-5_33.
R. V. Siriak and I. S. Skarha-Bandurova, "Model obrobky potokovykh danykh dlia rozpiznavannia okremykh odynyts zhestovoi movy," Visnyk Natsionalnoho tekhnichnoho universytetu "KhPI", vol. 42, no. 1318, p. 73–81, 2018.
"Spectra Symbol Flex Sensor," [Online]. Available: https://www.spectrasymbol.com/product/flex-sensors/.
A. Graves and J. Schmidhuber, "Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures," Neural Networks, vol. 18, no. 5-6, p. 602–610, 2005. DOI: 10.1016/j.neunet.2005.06.042.
I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, Massachusetts: MIT Press, 2016. ISBN: 978-0262035613.
G. Lefebvre, S. Berlemont, F. Mamalet and C. Garcia, "Inertial Gesture Recognition with BLSTM-RNN," in Artificial Neural Networksю Methods and Applications in Bio-/Neuroinformatics, P. Koprinkova-Hristova, V. Mladenov and K. N. K., Eds., Springer International Publishing Switzerland, 2015, pp. 393–410. DOI: 10.1007/978-3-319-09903-3_19.
D. P. Kingma and J. L. Ba, "Adam: A Method for Stochastic Optimization," in International Conference on Learning Representations (ICLR), San Diego, 2015. URL: https://arxiv.org/pdf/1412.6980.pdf.
