Алексей Игоревич Кутырёв − кандидат технических наук, старший научный сотрудник
1-й Институтский проезд, д. 5, Москва, 109428
Alexey I. Kutyrev, PhD (Tech.), Senior Researcher
1st Institute Passage, 5, Moscow, 109428, Russia
Доктор технических наук, главный научный сотрудник
1-й Институтский проезд, д. 5, Москва, 109428
Dr. Sci. (Tech.), Chief Researcher, Senior Researcher
1st Institute Passage, 5, Moscow, 109428, Russia
Кандидат технических наук, специалист
1-й Институтский проезд, д. 5, Москва, 109428
PhD (Tech.), specialist
1st Institute Passage, 5, Moscow, 109428, Russia
В статье представлены результаты проведённого с 2022 по 2023 гг. анализа качества работы современных моделей нейронных сетей для идентификации плодов яблони на кроне деревьев в изображениях. Для проведения исследований по выявлению наиболее качественного детектора использованы нейронные сети SSD (Single Shot MultiBox Detector), YOLOv4 (You Only Look Once версия 4), YOLOv5, YOLOv7 и YOLOv8. Оценивая качество работы рассматриваемых моделей для идентификации плодов, использовали метрики бинарной классификации Precision (точность), Recall (полнота), Accuracy (доля верных распознаваний), F-score (F-мера), AUC-ROCTotal (Area Under the Curve). Чтобы оценить точность прогноза идентификации плодов проведен расчет средней абсолютной ошибки (Mean Absolute Percentage Error, MAPE) анализируемых моделей нейронных сетей. Для анализа качества работы нейронной сети использовано 300 фотографий, сделанных в саду яблони. Анализ проведённых исследований показал, что модель SSD даёт более низкую скорость и точность работы, имеет высокие требования к вычислительным ресурсам, что может ограничить ее использование на менее производительных устройствах. Модель YOLOv4 превосходит YOLOv5 по точности на 10,2 %, однако при этом скорость обработки модели YOLOv5 превышает скорость YOLOv4 более чем в два раза. Это делает модель YOLOv5 более предпочтительным выбором для решения задач, связанных с обработкой больших объемов данных в режиме реального времени. Модель YOLOv8 превосходит модель YOLOv7 по скорости работы на 37,3 %, но точность у YOLOv7 выше на 9,4 %. Установлено, что наибольшее значение площади под Precision-Recall кривой составило 0,94 при использовании нейронной сети модели YOLOv7. Это указывает на высокую вероятность того, что классификатор сможет точно различить положительные и отрицательные значения класса плодов яблони. Проведенный расчет средней абсолютной ошибки (Mean Absolute Percentage Error, MAPE) анализируемых моделей нейронных сетей показал, что наименьшая ошибка идентификации плодов составила 5,64 % на модели YOLOv7 в сравнении с истинным значением, определенным визуальным методом. Анализ качества работы современных моделей нейронных сетей показал: семейство нейронных сетей You Only Look Once обеспечивает высокую скорость и точность обнаружения объектов, это позволяет им работать в режиме реального времени. Использование метода трансферного обучения (настройка только последних слоёв под решение узкоспециализированных задач) для адаптации работы моделей на различных сортах яблони позволит дополнительно повысить точность идентификации плодов.
The article presents the results of an analysis conducted from 2022 to 2023 to assess the quality of modern neural network models of apple fruit identification in tree crowns shown in images. In order to conduct the studies on identifying the best detector, the following neural networks were used: SSD (Single Shot MultiBox Detector), YOLOv4 (You Only Look Once, Version 4), YOLOv5, YOLOv7, and YOLOv8. The performance of the considered models of apple fruit identification was assessed using such binary classification metrics as precision, recall, accuracy, F-score, and AUC-ROCTotal (area under the curve). To assess the accuracy in predicting apple fruit identification, the mean absolute percentage error (MAPE) of the analyzed neural network models was calculated. The neural network performance analysis used 300 photographs taken at an apple garden. The conducted studies revealed that the SSD model provides lower speed and accuracy, as well as having high requirements for computing resources, which may limit its use in lower performance devices. The YOLOv4 model surpasses the YOLOv5 model in terms of accuracy by 10.2 %, yet the processing speed of the YOLOv5 model is over twice that of the YOLOv4 model. This fact makes the YOLOv5 model preferable for tasks related to real-time big data processing. The YOLOv8 model is superior to the YOLOv7 model in terms of speed (by 37.3 %); however, the accuracy of the YOLOv7 model is 9.4 % higher. The highest area under the Precision-Recall curve amounts to 0.94 when using the YOLOv7 model. This fact suggests a high probability that the classifier can accurately distinguish between the positive and negative values of the apple fruit class. MAPE calculation for the analyzed neural network models showed that the lowest error in apple fruit identification amounted to 5.64 % for the YOLOv7 model as compared to the true value determined using the visual method. The performance analysis of modern neural network models shows that the YOLO family of neural networks provides high speed and accuracy of object detection, which allows them to operate in real time. The use of transfer learning (tuning of only the last layers to solve highly specialized problems) to adjust the performance of models for different apple fruit varieties can further improve the accuracy of apple fruit identification.
The authors declare that there are no conflicts of interest present.