Сравнительный анализ моделей нейронных сетей для распознавания плодов яблони на кроне дерева

В статье представлены результаты проведённого с 2022 по 2023 гг. анализа качества работы современных моделей нейронных сетей для идентификации плодов яблони на кроне деревьев в изображениях. Для проведения исследований по выявлению наиболее качественного детектора использованы нейронные сети SSD (Single Shot MultiBox Detector), YOLOv4 (You Only Look Once версия 4), YOLOv5, YOLOv7 и YOLOv8. Оценивая качество работы рассматриваемых моделей для идентификации плодов, использовали метрики бинарной классификации Precision (точность), Recall (полнота), Accuracy (доля верных распознаваний), F-score (F-мера), AUC-ROCTotal (Area Under the Curve). Чтобы оценить точность прогноза идентификации плодов проведен расчет средней абсолютной ошибки (Mean Absolute Percentage Error, MAPE) анализируемых моделей нейронных сетей. Для анализа качества работы нейронной сети использовано 300 фотографий, сделанных в саду яблони. Анализ проведённых исследований показал, что модель SSD даёт более низкую скорость и точность работы, имеет высокие требования к вычислительным ресурсам, что может ограничить ее использование на менее производительных устройствах. Модель YOLOv4 превосходит YOLOv5 по точности на 10,2 %, однако при этом скорость обработки модели YOLOv5 превышает скорость YOLOv4 более чем в два раза. Это делает модель YOLOv5 более предпочтительным выбором для решения задач, связанных с обработкой больших объемов данных в режиме реального времени. Модель YOLOv8 превосходит модель YOLOv7 по скорости работы на 37,3 %, но точность у YOLOv7 выше на 9,4 %. Установлено, что наибольшее значение площади под Precision-Recall кривой составило 0,94 при использовании нейронной сети модели YOLOv7. Это указывает на высокую вероятность того, что классификатор сможет точно различить положительные и отрицательные значения класса плодов яблони. Проведенный расчет средней абсолютной ошибки (Mean Absolute Percentage Error, MAPE) анализируемых моделей нейронных сетей показал, что наименьшая ошибка идентификации плодов составила 5,64 % на модели YOLOv7 в сравнении с истинным значением, определенным визуальным методом. Анализ качества работы современных моделей нейронных сетей показал: семейство нейронных сетей You Only Look Once обеспечивает высокую скорость и точность обнаружения объектов, это позволяет им работать в режиме реального времени. Использование метода трансферного обучения (настройка только последних слоёв под решение узкоспециализированных задач) для адаптации работы моделей на различных сортах яблони позволит дополнительно повысить точность идентификации плодов.

1. Ustin S. L., Gamon J. A. Remote sensing of plant functional types. New Phytologis. 2010;186(4):795-816.

2. Penuelas J., Filella I., Gamon, J. A. Assessment of vegetation photosynthetic efficiency from space: A review. Remote Sensing of Environment. 2019;221:18-30.

3. Singh A., Harrison P. Remote sensing of vegetation phenology. Remote Sensing of Environment. 2018;219:298-308.

4. Shurygin B., Smirnov I., Chilikin A., Khort D., Kutyrev A., Zhukovskaya S., Solovchenko A. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages. Horticulturae. 2022;8:1111.

5. Yang J., Zhang H., Li Y. Application of Artificial Neural Networks in Fruit Classification. Journal of Physics: Conference Series. 2017;835(1):012044.

6. Wang X., Zhang Y., Ma Y. A Neural Network Approach to Fruit Detection and Recognition in Orchard Monitoring. IEEE Access. 2019;7:10618-10628.

7. Smirnov I., Kutyrev A., Kiktev N. Neural network for identifying apple fruits on the crown of a tree. E3S Web of Conferences, WFCES. 2021, 01021.

8. Zhao J., Wang Q., Cheng M., Wang W. Intelligent Detection of Fruit Defects Based on Deep Learning. Sensors. 2019;19(17):3679.

9. Ding H., Liu S., Fan X. Fruit detection using convolutional neural networks and deep learning. Computers and Electronics in Agriculture. 2019;157:453-460.

10. Kandpal M., Jain P. K. Fruit quality assessment using artificial neural networks and machine vision. Journal of Food Science and Technology. 2020;57(8):2861-2873.

11. Zhang Y., Xu H., Fu W. A machine vision system based on artificial neural network for fruit detection and segmentation. Computers and Electronics in Agriculture. 2018;154:222-229.

12. Rahman M. A., Bala S. K. Fruit classification based on shape features using artificial neural network. Cogent Engineering. 2019;6(1):1692384.

13. Kuznetsova A., Maleva T., Soloviev V. Using YOLOv3 Algorithm with Pre- and Post-Processing for Apple Detection in Fruit-Harvesting Robot. Agronomy. 2020;10:1016.

14. Andriyanov N., Khasanshin I., Utkin D., Gataullin T., Ignar S., Shumaev V., Soloviev V. Intelligent System for Estimation of the Spatial Position of Apples Based on YOLOv3 and Real Sense Depth Camera D415. Symmetry. 2022;14:148.

15. Milioto A., Lottes P., Stachniss C., Behnke S. Apple Detection in Orchards using Deep Convolutional Neural Networks. Sensors. 2018;18(6):1803.

16. Wang Y., Zhang K., Zhang T., Song Z., Liu Y. Fruit Detection in Orchards using YOLOv4 Object Detection. IEEE Access. 2021;9:55828-55838.

17. Kandori T., Takimoto T., Hattori Y., Ohno K. Real-Time Fruit Detection System for Mobile Robot using YOLOv5. In 2021 16th International Conference on Computer Science & Education (ICCSE). 2021, 56-61.

18. Yuan W. Accuracy Comparison of YOLOv7 and YOLOv4 Regarding Image Annotation Quality for Apple Flower Bud Classification. AgriEngineering. 2023;5:413-424.

19. Maxwell A., Warner T., Guillén L. Accuracy Assessment in Convolutional Neural Network-Based Deep Learning Remote Sensing Studies. Part 1: Literature Review. Remote Sens. 2021;13:2450.

20. Kutyrev A., Kiktev N., Jewiarz M., Khort D., Smirnov I., Zubina V., Hutsol T., Tomasik M., Biliuk M. Robotic Platform for Horticulture: Assessment Methodology and Increasing the Level of Autonomy. Sensors. 2022;22:8901.