Кутырёв А. И. − кандидат технических наук, старшийнаучный сотрудник
1-й Институтский проезд, д. 5, Москва, 109428
Kutyrev A. I., PhD (Tech.), Senior Researcher
1st Institute Passage, 5, Moscow, 109428
Смирнов И. Г. − доктор технических наук, главный научный сотрудник
1-й Институтский проезд, д. 5, Москва, 109428
Smirnov I. G., Dr. Sci. (Tech.), Chief Researcher, SeniorResearcher
1st Institute Passage, 5, Moscow, 109428
В статье представлены результаты исследований, проведенных в 2023-2024 гг. по трансферному обучению моделей сверточных нейронных сетей (Segmentation Convolutional Neural Networks, Seg-CNN) для классификации, распознавания и сегментации ветвей с плодами яблони и плодоножек на изображениях. Использованы современные архитектуры сверточных нейронных сетей YOLOv8(n,s,m,l,x)-seg для детальной сегментации биологических объектов на изображениях различной сложности и масштабов на уровне пикселей. Для трансферного обучения моделей был размечен набор изображений (dataset), собранный в полевых условиях с использованием камеры GoPro HERO 11. Проведена аугментация данных, в результате которой общее количество изображений составило 2500 штук. Разметка изображений проведена с использованием инструмента аннотации полигонов, в результате которой были созданы многоугольные контуры вокруг объектов, выделены контуры ветвей, плодов яблони и плодоножек, указаны сегменты объектов на изображениях. Объектам присвоены следующие классы: ветвь «Apple branch», плоды яблони «Apple» и плодоножка «Apple stem». Метрики бинарной классификации Precision (точность) и Recall (полнота), средней точности Mean Average Precision (mAP) использованы для оценки качества работы обученных моделей при распознавании ветвей с плодами яблони и плодоножек на изображениях. В результате проведенных исследований установлено, что модели YOLOv8x-seg (mAP50 0,758) и YOLOv8l-seg (mAP50 0,74) показывают высокую производительность по всем метрикам при распознавании ветвей, плодов яблони и плодоножек на изображениях, превосходя модель YOLOv8n-seg (mAP50 0,7) за счет их более сложной архитектуры. Модель YOLOv8n-seg обладает более высокой скоростью обработки кадров (11,39 кадров/с), что делает ее предпочтительным выбором для вычислительных систем с ограниченными ресурсами. Полученные результаты подтверждают перспективность применения алгоритмов машинного обучения, сверточных нейронных сетей для сегментации и попиксельной классификации ветвей с плодами яблони и плодоножек на RGB изображениях для мониторинга состояния растений и определения их геометрических характеристик.
This article reports the results of research studies conducted in 2023–2024 on transfer learning of Segmentation Convolutional Neural Networks (Seg-CNN) models for classification, recognition, and segmentation of branches with apple fruits and stems in images. State-of-the-art convolutional neural network architectures, i.e., YOLOv8(n,s,m,l,x)-seg, were used for a detailed segmentation of biological objects in images of varying complexity and scale at the pixel level. An image dataset collected in the field using a GoPro HERO 11 camera was marked up for transfer model training. Data augmentation was performed, producing a total of 2500 images. Image markup was performed using the polygon annotation tool. As a result, polygonal contours around objects were created, outlines of branches, apple tree fruits, and stems were outlined, and segments of objects in the images were indicated. The objects were assigned the following classes: Apple branch, Apple fruit, and Apple stem. Binary classification metrics, such as Precision and Recall, as well as Mean Average Precision (mAP), were used to evaluate the performance of the trained models in recognizing branches with apple fruits and stems in images. The YOLOv8x-seg (mAP50 0.758) and YOLOv8l-seg (mAP50 0.74) models showed high performance in terms of all metrics in recognizing branches, apple fruit, and fruit stems in images, outperforming the YOLOv8n-seg (mAP50 0.7) model due to their more complex architecture. The YOLOv8n-seg model has a faster frame processing speed (11.39 frames/s), rendering it a preferred choice for computing systems with limited resources. The results obtained confirm the prospects of using machine learning algorithms and convolutional neural networks for segmentation and pixel-by-pixel classification of branches with apple fruits and stems on RGB images for monitoring the condition of plants and determining their geometric characteristics.
The authors declare that there are no conflicts of interest present.