Генерування аберометричних даних шляхом застосування генеративно-змагальної нейронної мережі
Основний зміст сторінки статті
Анотація
Отримання медичних даних для статистичних досліджень, розробки нових методів лікування та відповідного обладнання є процесом, який супроводжується великою кількістю бюрократичних процедур, а обсяг отриманої вибірки може виявитись недостатнім. Остання проблема особливо актуальна для розробки методів на основі штучних нейронних мереж. Анонімізовані вибірки медичних даних у відкритому доступі є нечисленними, причому серед них зазвичай не представлені певні специфічні дослідження. Ці фактори також є релевантними для аберацій — оптичних похибок людського ока. Дійсно, аналіз існуючих публікацій демонструє вкрай малу кількість датасетів з аберометричною інформацією, в той час як більший інтерес для наукової спільноти становить обробка офтальмологічних зображень. Діагностику для визначення аберацій високих порядків роблять нечасто, тому для отримання великих обсягів даних необхідно запроваджувати кампанії для діагностики населення, що може бути затратним з точки зору часу та коштів. Іншим способом є використання існуючих методів генерації даних, таких як генеративні змагальні нейронні мережі (Generative Adversarial Neural Networks, GAN). Втім, їхнє навчання є нестабільним і, за малих обсягів даних, виникає ризик перенавчання. Більш стабільний вид GAN — Wasserstein GAN (WGAN) — використовує інший підхід до визначення функцій втрат та жорстке обмеження ваг під час оптимізації. Однак він також має недоліки: наприклад, обмеження ваг вимагає додаткових зусиль на підбір порогового значення, бо в іншому випадку існує ризик вибуху або зникнення градієнтів. Недоліки WGAN усунуто додаванням градієнтного штрафу (Gradient Penalty, GP). Незважаючи на високу стабільність навчання WGAN GP, розмір навчаючої вибірки також грає важливу роль в підготовці мережі. З метою його нарощування, що є актуальним для нечисельних навчаючих вимірювань, використовуються методи аугментації даних — утворення нових примірників шляхом застосування до них нескладних перетворень. Однак звичайне застосування аугментації даних при навчанні GAN не є припустимим через інтеграцію цих перетворень у згенеровані примірники. Одним з методів навчання GAN, які дозволяють використання аугментації даних, є Data Augmentation Optimized for GAN (DAG). Незважаючи на те, що більшість архітектур GAN та супутніх методів навчання та нарощування даних описані для роботи з інформацією у вигляді зображень, це не є перепоною у їхньому застосуванні до вирішення задачі генерації аберометричних даних, адже така інформація може бути представлена у двох формах — вектори коефіцієнтів та піксельні зображення хвильових фронтів. Таким чином, задачею даної роботи є розробка методу генерації аберометричних даних на базі WGAN GP із застосуванням DAG. Запропоноване рішення є WGAN GP оригінальної архітектури, для навчання якої використовувались методи нарощування даних як для графічної форми хвильових фронтів, так і для векторів коефіцієнтів Церніке. Аналіз результату генерації за спеціалізованими метриками спадковості, творчості та різноманіття показав, що запропоноване рішення здатне синтезувати дані, що є схожими на реальні (відстань Фреше дорівнює 0.7), і, які, водночас, не копіюють реальні вимірювання (метрика креативності на рівні 92%), та не мають великої кількості самоповторів (значення метрики різноманіття має значення 3.64, що близько до оптимально 3.83). Подальші дослідження можуть бути напрямлені на використання більш досконалих архітектур штучних нейронних мереж, засобів аугментації даних для GAN та пошук або створення більших навчаючих вибірок.
Блок інформації про статтю
![Creative Commons License](http://i.creativecommons.org/l/by/4.0/88x31.png)
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
Посилання
S. M. Khan et al., “A global review of publicly available datasets for ophthalmological imaging: barriers to access, usability, and generalisability,” Lancet Digit Health, vol. 3, no. 1, pp. e51–e66, Jan. 2021, DOI: https;//doi.org/10.1016/S2589-7500(20)30240-5
A. You, J. K. Kim, I. H. Ryu, and T. K. Yoo, “Application of generative adversarial networks (GAN) for ophthalmology image domains: a survey,” Eye and Vision, vol. 9, no. 1, p. 6, Dec. 2022, DOI: https;//doi.org/10.1186/s40662-022-00277-3
I. J. Goodfellow et al., “Generative Adversarial Networks,” Jun. 2014, URL: https://arxiv.org/abs/1406.2661
J. Jarosz, P. Mecê, J.-M. Conan, C. Petit, M. Paques, and S. Meimon, “High temporal resolution aberrometry in a 50-eye population and implications for adaptive optics error budget,” Biomed Opt Express, vol. 8, no. 4, p. 2088, Apr. 2017, DOI: https;//doi.org/10.1364/BOE.8.002088
I. Chyzh, G. Tymchyk, and T. Shisha, Aberometriya optychnoyi systemy oka lyudyny: Monohrafiya [Aberrometry of the optical system of the human eye: Monograph]. Kyiv, Ukraine: National Technical University of Ukraine “Kyiv Polytechnic Institute,” 2013.
V. Lakshminarayanan and A. Fleck, “Zernike polynomials: a guide,” J Mod Opt, vol. 58, no. 7, pp. 545–561, Apr. 2011, DOI: https://doi.org/10.1080/09500340.2011.554896
M. Arjovsky, S. Chintala, and L. Bottou, “Wasserstein GAN,” Jan. 2017, URL: https://arxiv.org/abs/1701.07875
I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. Courville, “Improved Training of Wasserstein GANs,” Mar. 2017, URL: https://arxiv.org/abs/1704.00028
N.-T. Tran, V.-H. Tran, N.-B. Nguyen, T.-K. Nguyen, and N.-M. Cheung, “On Data Augmentation for GAN Training,” IEEE Transactions on Image Processing, vol. 30, pp. 1882–1897, 2021, DOI: https://doi.org/10.1109/TIP.2021.3049346
M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. Hochreiter, “GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium,” Jun. 2017, URL: https://arxiv.org/abs/1706.08500
Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition,” Proceedings of the IEEE, vol. 86, no. 11, pp. 2278–2324, 1998, DOI: https;//doi.org/10.1109/5.726791
T. Chen, X. Zhai, M. Ritter, M. Lucic, and N. Houlsby, “Self-Supervised GANs via Auxiliary Rotation Loss,” in 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 12146–12155, DOI: https://doi.org/10.1109/CVPR.2019.01243
“CIFAR-10 and CIFAR-100 datasets.” [Online]. Available: https://www.cs.toronto.edu/~kriz/cifar.html. [Accessed: 16-Jul-2023].
S. Guan and M. Loew, “Evaluation of Generative Adversarial Network Performance Based on Direct Analysis of Generated Images,” in 2019 IEEE Applied Imagery Pattern Recognition Workshop (AIPR), 2019, pp. 1–5, DOI: https://doi.org/10.1109/AIPR47015.2019.9174595
C. Szegedy et al., “Going deeper with convolutions,” in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 1–9, DOI: https://doi.org/10.1109/CVPR.2015.7298594
D. C. Dowson and B. V. Landau, “The Fréchet distance between multivariate normal distributions,” J Multivar Anal, vol. 12, no. 3, pp. 450–455, Sep. 1982, DOI: https;//doi.org/10.1016/0047-259X(82)90077-X
Z. Wang, E. P. Simoncelli, and A. C. Bovik, “Multiscale structural similarity for image quality assessment,” in The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, pp. 1398–1402, DOI: https;//doi.org/10.1109/ACSSC.2003.1292216
D. P. Kingma and J. Ba, “Adam: A Method for Stochastic Optimization,” Dec. 2014, URL: https://arxiv.org/abs/1412.6980
“Kaggle: Your Machine Learning and Data Science Community.” [Online]. Available: https://www.kaggle.com/. [Accessed: 04-Aug-2023]
“TensorFlow.” [Online]. Available: https://www.tensorflow.org/. [Accessed: 04-Aug-2023]
“SciPy.” [Online]. Available: https://scipy.org/. [Accessed: 04-Aug-2023]
“Matplotlib — Visualization with Python.” [Online]. Available: https://matplotlib.org/. [Accessed: 04-Aug-2023]
H. Zhang, I. Goodfellow, D. Metaxas, and A. Odena, “Self-Attention Generative Adversarial Networks,” May 2018, URL: https://arxiv.org/abs/1805.08318