Ієрархічна згорткова нейронна мережа для підвищення роздільної здатності інфрачервоних зображень
Бічна панель сторінки статті
Основний зміст сторінки статті
Анотація
Через відносно високу ціну інфрачервоних сенсорів існує необхідність у методах обробки інфрачервоних зображень, отриманих із недорогих ІЧ-камер, які б підвищували їхню роздільну здатність. Одним з напрямків таких методів є надроздільна здатність (SR – Super Resolution) на основі згорткових нейронних мереж (CNN – Convolutional Neural Network), що активно розвивається останнє десятиріччя. Однак більшість існуючих нейронних SR-мереж створено для збільшення роздільної здатності зображень у видимому спектрі. В цьому ж дослідженні на інфрачервоних зображеннях перевірено працездатність однієї з кращих мереж для збільшення роздільної здатності зображень у видимому спектрі – BCLSR, та запропоновано власну мережу, яка є швидшою та точніше відновлює (збільшує) роздільну здатність вхідних зображень.
Блок інформації про статтю
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
Посилання
E. Mandanici, L. Tavasci, F. Corsini and e. al., "A multi-image super-resolution algorithm applied to thermal imagery," Appl. Geomat., vol. 11, p. 215–228, 2019. DOI: https://doi.org/10.1007/s12518-019-00253-y.
"ULTRAMAX – The Ultimate Resolution," [Online]. Available: https://www.flirmedia.com/MMC/THG/Brochures/IND_023/IND_023_EN.pdf. [Accessed 05 02 2021].
"MicroScan significantly increases the geometrical resolution capability of the ImageIR® camera series," [Online]. Available: https://www.ndt.net/search/docs.php3?id=21250&content=1. [Accessed 03 01 2021].
"FLIR MSX Multi-Spectral Dynamic Imaging," [Online]. Available: https://www.tequipment.net/FlirMSXMulti-SpectralDynamicImaging.html. [Accessed 03 01 2021].
S. Liu, Y. Yang, Q. Li, H. Feng, Z. Xu and Y. Chen, "Infrared Image Super Resolution Using GAN With Infrared Image Prior," in 2019 IEEE 4th International Conference on Signal and Image Processing (ICSIP), Wuxi, China, 2019. DOI: https://doi.org/10.1109/SIPROCESS.2019.8868566.
C. Dong, C. C. Loy, K. He and X. Tang, "Image Super-Resolution Using Deep Convolutional Networks," IEEE Transactions on Pattern Analysis & Machine Intelligence (TPAMI), vol. 38, no. 2, pp. 295-307, 2014. DOI: https://doi.org/10.1109/TPAMI.2015.2439281.
J. Kim, J. K. Lee and K. M. Lee, "Accurate Image Super-Resolution Using Very Deep Convolutional Networks," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.182
W. Shi, J. Caballero, F. Huszár, J. Totz, A. P. Aitken and R. Bishop, "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.207.
C. Ledig et al., "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. DOI: https://doi.org/10.1109/CVPR.2017.19.
Y. Choi, N. Kim, S. Hwang and I. S. Kweon, "Thermal image enhancement using convolutional neural network," in 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, Korea (South), 2016. DOI: https://doi.org/10.1109/IROS.2016.7759059.
R. E. Rivadeneira, P. L. Suárez, A. D. Sappa and B. X. Vintimilla, "Thermal Image SuperResolution Through Deep Convolutional Neural Network," Image Analysis and Recognition. ICIAR 2019. Lecture Notes in Computer Science, vol. 11663, 2019. DOI: https://doi.org/10.1007/978-3-030-27272-2_37.
K. Lee, J. Lee, J. Lee, S. Hwang and S. Lee, "Brightness-based convolutional neural network for thermal image enhancement," IEEE Access, vol. 5, pp. 26867-26879, 2017. DOI: https://doi.org/10.1109/ACCESS.2017.2769687.
Y. Chang and B. Luo, "Bidirectional Convolutional LSTM Neural Network for Remote Sensing Image Super-Resolution," Remote Sens., vol. 11, no. 2333, 2019. DOI: https://doi.org/10.3390/rs11202333.
K. He, X. Zhang, S. Ren and J. Sun, "Deep residual learning for image recognition," in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.90.
M. S. M. Sajjadi, R. Vemulapalli and M. Brown, "Frame-Recurrent Video Super-Resolution," in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 2018. DOI: https://doi.org/10.1109/CVPR.2018.00693.
A. Graves and J. Schmidhuber, "Framewise phoneme classification with bidirectional LSTM and other neural network architectures," Neural Networks, vol. 18, no. (5–6), p. 602–610, 2005. DOI: https://doi.org/10.1016/j.neunet.2005.06.042.
X. Shi, Z. Chen, H. Wang, D.-Y. Yeung, W.-k. Wong and W.-c. Woo, "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting," in NIPS'15: Proceedings of the 28th International Conference on Neural Information Processing Systems, 2015.
Z. Wojna, V. Ferrari, S. Guadarrama, N. Silberman, L.-C. Chen, A. Fathi and J. Uijlings, "The Devil is in the Decoder: Classification, Regression and GANs," International Journal of Computer Vision (IJCV), vol. 127, p. 1694–1706, 2019. DOI: https://doi.org/10.1007/s11263-019-01170-8.
C. Szegedy, S. Ioffe, V. Vanhoucke and A. Alemi, "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning," in AAAI'17: Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2017.
"CVC-14: Visible-FIR Day-Night Pedestrian Sequence Dataset," [Online]. Available: http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc-14-visible-fir-day-night-pedestrian-sequence-dataset/. [Accessed 04 02 2021].
L. N. Smith, "A disciplined approach to neural network hyper-parameters: Part 1 - learning rate, batch size, momentum, and weight decay," CoRR, arXiv: https://arxiv.org/abs/1803.09820
