Сверточная нейронная сеть (Seg-CNN) для распознавания, классификации и сегментации ветвей с плодами яблони и плодоножек на изображениях

В статье представлены результаты исследований, проведенных в 2023-2024 гг. по трансферному обучению моделей сверточных нейронных сетей (Segmentation Convolutional Neural Networks, Seg-CNN) для классификации, распознавания и сегментации ветвей с плодами яблони и плодоножек на изображениях. Использованы современные архитектуры сверточных нейронных сетей YOLOv8(n,s,m,l,x)-seg для детальной сегментации биологических объектов на изображениях различной сложности и масштабов на уровне пикселей. Для трансферного обучения моделей был размечен набор изображений (dataset), собранный в полевых условиях с использованием камеры GoPro HERO 11. Проведена аугментация данных, в результате которой общее количество изображений составило 2500 штук. Разметка изображений проведена с использованием инструмента аннотации полигонов, в результате которой были созданы многоугольные контуры вокруг объектов, выделены контуры ветвей, плодов яблони и плодоножек, указаны сегменты объектов на изображениях. Объектам присвоены следующие классы: ветвь «Apple branch», плоды яблони «Apple» и плодоножка «Apple stem». Метрики бинарной классификации Precision (точность) и Recall (полнота), средней точности Mean Average Precision (mAP) использованы для оценки качества работы обученных моделей при распознавании ветвей с плодами яблони и плодоножек на изображениях. В результате проведенных исследований установлено, что модели YOLOv8x-seg (mAP50 0,758) и YOLOv8l-seg (mAP50 0,74) показывают высокую производительность по всем метрикам при распознавании ветвей, плодов яблони и плодоножек на изображениях, превосходя модель YOLOv8n-seg (mAP50 0,7) за счет их более сложной архитектуры. Модель YOLOv8n-seg обладает более высокой скоростью обработки кадров (11,39 кадров/с), что делает ее предпочтительным выбором для вычислительных систем с ограниченными ресурсами. Полученные результаты подтверждают перспективность применения алгоритмов машинного обучения, сверточных нейронных сетей для сегментации и попиксельной классификации ветвей с плодами яблони и плодоножек на RGB изображениях для мониторинга состояния растений и определения их геометрических характеристик. 

1. Liang X., Jia X., Huang W., He X., Li L., Fan S., Li J., Zhao C., Zhang C. Real-Time Grading of Defect Apples Using Semantic Segmentation Combination with a Pruned YOLO V4 Network, Foods. 2022;11;3150.

2. Хорт Д. О., Кутырёв А. И., Смирнов И. Г., Воронков И. В. Разработка системы автоматизированного управления агротехнологиями в садоводстве, Сельскохозяйственные машины и технологии. 2021;15(2):61-68.

3. Sekharamantry P.K., Melgani F., Malacarne J. Deep Learning-Based Apple Detection with Attention Module and Improved Loss Function in YOLO, Remote Sensing. 2023;15(6):1516.

4. Wang D., He D. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate apple fruitlet detection before fruit thinning, Biosystems Engineering. 2021;210:271-281.

5. Kutyrev A., Nikolay K., Jewiarz M., Dmitriy K., Smirnov I., Zubina V., Hutsol T., Tomasik M., Biliuk M. Robotic platform for horticulture: assessment methodology and increasing the level of autonomy, Sensors. 2022;22.22:8901.

6. Tong S., Yue Y., Li W., Wang Y., Kang F., Feng C. Branch Identification and Junction Points Location for Apple Trees Based on Deep Learning, Remote Sensing. 2022; 14(18):4495.

7. Zulkifl ey M. A., Moubark A. M., Saputro A. H., Abdani S. R. Automated Apple Recognition System Using Semantic Segmentation Networks with Group and Shuffle Operators, Agriculture. 2022;12(6):756.

8. Kang H., Zhou H., Wang X., Chen C. Real-Time Fruit Recognition and Grasping Estimation for Robotic Apple Harvesting, Sensors. 2020;20(19):5670.

9. Jiao Y., Luo R., Li Q., Deng X., Yin X., Ruan C., Jia W. Detection and Localization of Overlapped Fruits Application in an Apple Harvesting Robot, Electronics. 2020;9(6):1023.

10. Zhang Y., Xu H., Fu W. A machine vision system based on artificial neural network for fruit detection and segmentation, Computers and Electronics in Agriculture. 2018;154:222-229.

11. Smirnov I., Kutyrev A., Kiktev N. Neural network for identifying apple fruits on the crown of a tree. E3S Web of Conferences. Сер. “International scientific forum on computer and energy Sciences, WFCES 2021” 2021.

12. Zhang H., Tang C., Sun X., Fu L. A Refined Apple Binocular Positioning Method with Segmentation-Based Deep Learning for Robotic Picking, Agronomy. 2023;13(6):1469.

13. Abeyrathna R.M.R.D., Nakaguchi V. M., Minn A., Ahamed T. Recognition and Counting of Apples in a Dynamic State Using a 3D Camera and Deep Learning Algorithms for Robotic Harvesting Systems, Sensors. 2023;23(8):3810.

14. Shurygin B., Smirnov I., Chilikin A., Khort D., Kutyrev A., Zhukovskaya S., Solovchenko A. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages, Horticulturae. 2022;8:1111.

15. Yang H., Liu Y., Wang S., Qu H., Li N., Wu J., Yan Y., Zhang H., Wang J., Qiu J. Improved Apple Fruit Target Recognition Method Based on YOLOv7 Model, Agriculture. 2023;13(7):1278.

16. Хорт Д. О., Кутырёв А. И., Смирнов И. Г., Моисеев Г. В., Соловьев В.И. Управление движением сельскохозяйственной автономной роботизированной платформы, Сельскохозяйственные машины и технологии. 2023;17(1):25-34.

17. Benos L., Tagarakis A. C., Dolias G., Berruto R., Kateris D., Bochtis D. Machine Learning in Agriculture: A Comprehensive Updated Review, Sensors. 2021;21(11):3758.

18. Terven J., Córdova-Esparza D-M., Romero-González J-A. A Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS, Machine Learning and Knowledge Extraction. 2023;5(4):1680-1716.

19. Gulzar Y. Fruit Image Classification Model Based on MobileNetV2 with Deep Transfer Learning Technique, Sustainability. 2023;15:1906.

20. Gulzar Y., Ünal, Z., Aktaş, H. Mir, M.S. Harnessing the Power of Transfer Learning in Sunflower Disease Detection: A Comparative Study, Agriculture. 2023;13:1479.

21. Maxwell A. E., Warner T. A., Guillén L. A. Accuracy Assessment in Convolutional Neural Network-Based Deep Learning Remote Sensing Studies - Part 1: Literature Review, Remote Sensing. 2021;13(13):2450.