Для цитирования:
Обухов А. Д. Метод автоматического поиска структуры и параметров нейронных сетей для решения задач обработки информации // Известия Саратовского университета. Новая серия. Серия : Математика. Механика. Информатика. 2023. Т. 23, вып. 1. С. 113-125. DOI: 10.18500/1816-9791-2023-23-1-113-125, EDN: QQEIGU
Метод автоматического поиска структуры и параметров нейронных сетей для решения задач обработки информации
Нейронные сети активно применяются при решении различных прикладных задач анализа, обработки и генерации данных. При их использовании одним из сложных этапов является подбор структуры и параметров нейронных сетей (количество и типы слоев нейронов, функции активации, оптимизаторы и т.д.), обеспечивающих наибольшую точность и, следовательно, успешность решения поставленной задачи. В настоящее время данный вопрос решается путем аналитического подбора архитектуры нейронной сети исследователем или разработчиком программного обеспечения. Существующие автоматические инструменты (AutoKeras, AutoGAN, AutoSklearn, DEvol и др.) недостаточно универсальны и функциональны. Поэтому в рамках данной работы рассматривается метод автоматического поиска структуры и параметров нейронных сетей различного типа (многослойных плотных, сверточных, генеративно-состязательных, автоэнкодеров и др.) для решения широкого класса задач. Представлена формализация метода и его основные этапы. Рассмотрена апробация метода, доказывающая его эффективность относительно аналитического решения при подборе архитектуры нейронной сети. Проведено сравнение метода с существующими аналогами, выявлено его преимущество по точности сформированных нейронных сетей и времени поиска.
- Бескровный А. С., Бессонов Л. В., Иванов Д. В., Кириллова И. В., Коссович Л. Ю. Использование сверточной нейронной сети для автоматизации построения двумерных твердотельных моделей позвонков // Известия Саратовского университета. Новая серия. Серия: Математика. Механика. Информатика. 2020. Т. 20, вып. 4. С. 502–516. https://doi.org/10.18500/1816-9791-2020-20-4-502-516
- Li H., Yuan D., Ma X., Cui D., Cao L. Genetic algorithm for the optimization of features and neural networks in ECG signals classification // Scientific Reports. 2017. Vol. 7, iss. 1. P. 1–12. https://doi.org/10.1038/srep41011
- He X., Zhao K., Chu X. AutoML: A Survey of the State-of-the-Art // Knowledge-Based Systems. 2021. Vol. 212. P. 106622. https://doi.org/10.1016/j.knosys.2020.106622
- Jin H., Song Q., Hu X. Auto-keras: An efficient neural architecture search system // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2019. P. 1946–1956. https://doi.org/10.1145/3292500.3330648
- Real E., Aggarwal A., Huang Y., Le Q. V. Regularized evolution for image classifier architecture search // Proceedings of the AAAI Conference on Artificial Intelligence. 2019. Vol. 33. P. 4780–4789. https://doi.org/10.1609/aaai.v33i01.33014780
- Budjac R., Nikmon M., Schreiber P., Zahradnikova B., Janacova D. Automated machine learning overview // Research Papers Faculty of Materials Science and Technology Slovak University of Technology. 2019. Vol. 27, iss. 45. P. 107–112. https://doi.org/10.2478/rput-2019-0033
- Feurer M., Klein A., Eggensperger K., Springenberg J., Blum M., Hutter F. Efficient and robust automated machine learning // Automated Machine Learning. 2019. P. 113–134. https://doi.org/10.1007/978-3-030-05318-5_6
- Le Q., Zoph B. Using machine learning to explore neural network architecture // Google Research Blog. 2017. URL: https://research.googleblog.com/2017/05/using-machine-learning-to-explor... (дата обращения: 05.04.2022).
- Gong X., Chang S., Jiang Y., Wang Z. Autogan: Neural architecture search for generative adversarial networks // Proceedings of the IEEE International Conference on Computer Vision. 2019. P. 3224–3234. https://doi.org/10.1109/ICCV.2019.00332
- Liu C., Zoph B., Neumann M., Shlens J., Hua W., Li L. J., Murphy K. Progressive Neural Architecture Search // Computer Vision – ECCV 2018. ECCV 2018 / eds.: V. Ferrari, M. Hebert, C. Sminchisescu, Y. Weiss. Cham : Springer, 2018. P. 19–34. (Lecture Notes in Computer Science, vol. 11205). https://doi.org/10.1007/978-3-030-01246-5_2
- Cai H., Gan C., Han S. Once for all: Train one network and specialize it for efficient deployment // arXiv preprint arXiv:1908.09791. 2019.
- Truong A., Walters A., Goodsitt J., Hines K., Bruss C. B., Farivar R. Towards automated machine learning: Evaluation and comparison of AutoML approaches and tools // 2019 IEEE 31st International Conference on Tools with Artificial Intelligence. 2019. P. 1471–1479. https://doi.org/10.1109/ICTAI.2019.00209
- Moen E., Bannon D., Kudo T., Graf W., Covert M., Van Valen D. Deep learning for cellular image analysis // Nature Methods. 2019. Vol. 16, iss. 12. P. 1233–1246. https://doi.org/10.1038/s41592-019-0403-1
- Obukhov A., Krasnyanskiy M. Quality assessment method for GAN based on modified metrics inception score and Frechet inception distance // Proceedings of the Computational Methods in Systems and Software. 2020. P. 102–114. https://doi.org/10.1007/978-3-030-63322-6_8
- MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges. URL: http://yann.lecun.com/exdb/mnist/ (дата обращения: 05.04.2022).
- UCI Machine Learning Repository. URL: https://archive.ics.uci.edu/ml/datasets.php (дата обращения: 05.04.2022).
- Obukhov A., Siukhin A., Dedov D. The model of the automatic control system for a treadmill based on neural networks // 2020 International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon). 2020. P. 1–5. https://dx.doi.org/10.1109/FarEastCon50210.2020.9271589
- Обухов А. Д., Краснянский М. Н. Нейросетевой метод обработки и передачи данных в адаптивных информационных системах // Вестник Удмуртского университета. Математика. Механика. Компьютерные науки. 2021. Т. 31, вып. 1. С. 149–164. https://doi.org/10.35634/vm210111
- 1159 просмотров