Разработка системы компьютерного зрения на основе свёрточной нейронной сети для автоматизированной сортировки плодов яблони

В статье представлена интеллектуальная система автоматизированной сортировки плодов яблони на основе архитектур свёрточных нейронных сетей YOLO. Разработано программное обеспечение, интегрирующее детекцию, инстанс-сегментацию, трекинг (отслеживание) объектов и анализ качества плодов в реальном времени. Система реализована на языке Python с использованием библиотек OpenCV, PyQt5, NumPy и других, и поддерживает обработку видеопотока с промышленных конвейерных линий. Проведено сравнительное исследование моделей YOLO12s (для детекции) и YOLO11m-seg (для сегментации) по основным метрикам (Precision, Recall, mAP, F1-score, MOTA, IDF1 и FPS). На основе анализа экспериментальных данных установлены оптимальные режимы работы: для YOLO12s – скорость конвейера до 0,18 м/с при MOTA > 0,75 и FPS ≈ 38 кадр./с; для YOLO11m-seg – до 0,15 м/с при MOTA > 0,65 и FPS ≈ 25 кадр./с. Программный комплекс позволяет распознавать восемь классов объектов, включая гниль, паршу, механические повреждения, оценивать степень зрелости по HSV-гистограммам и измерять размеры плодов. Для трекинга выбран алгоритм ByteTrack, который обеспечивает сохранение идентификаторов объектов при их движении, минимизируя ошибочное повторное присвоение ID в условиях частичных перекрытий и высокой скорости конвейера. Программное обеспечение системы представляет собой готовое решение для цифровизации процесса сортировки. Обеспечивая работу в реальном времени, автоматическое распознавание дефектов и ведение статистики, программа позволяет повысить эффективность производства и производительность труда по сравнению с традиционными методами визуального контроля.

1. Baneh N. M., Navid H., Kafashan J., Fouladi H., Gonzales-Barrón U. Development and Evaluation of a Small-Scale Apple Sorting Machine Equipped with a Smart Vision System, AgriEngineering. 2023;5(1):473-487. DOI: 10.3390/agriengi-neering5010031.

2. Baneh N. M., Navid H., Kafashan J. Mechatronic components in apple sorting machines with computer vision, J. Food Meas. Charact. 2018;12:1135-1155. DOI: 10.1007/s11694-018-9728-1.

3. Kleynen O., Leemans V., Destain, M. F. Development of a multi-spectral vision system for the detection of defects on apples, J. Food Eng. 2005;69(1):41-49. DOI: 10.1016/j.jfoodeng.2004.07.008.

4. Qin J., Burks T. F., Zhao X., Niphadkar N., Ritenour M. A. Development of a two-band spectral imaging system for real-time citrus canker detection, J. Food Eng. 2012;108(1):87-93. DOI: 10.1016/j.jfoodeng.2011.07.022.

5. Grabska J., Beć K. B., Ueno N., Huck C. W. Analyzing the Quality Parameters of Apples by Spectroscopy from Vis/NIR to NIR Region: A Comprehensive Review, Foods. 2023;12(10):1946. DOI: 10.3390/foods12101946.

6. Хорт Д. О., Кутырёв А. И., Смирнов И. Г., Воронков И. В. Разработка системы автоматизированного управления агротехнологиями в садоводстве, Сельскохозяйственные машины и технологии. 2021;15(2):61-68. DOI: 10.22314/2073-75992021-15-2-61-68.

7. Ekramirad N., Khaled A. Y., Doyle L. E., Loeb J. R., Donohue K. D., Villanueva R. T., Adedeji A. A. Nondestructive Detection of Codling Moth Infestation in Apples Using PixelBased NIR Hyperspectral Imaging with Machine Learning and Feature Selection, Foods. 2022;11(1):8. DOI: 10.3390/foods11010008.

8. Личман Г. И., Смирнов И. Г., Хорт Д. О., Филиппов Р. А. Применение систем технического зрения в машинных технологиях в садоводстве, Техника и оборудование для села. 2017;6:10-17.

9. Bhatt A. K., Pant D. Automatic apple grading model development based on back propagation neural network and machine vision, and its performance evaluation, AI & Society. 2015;30(1):45-56. DOI: 10.1007/s00146-013-0516-5.

10. Hu X., Hu Y., Cai W., Xu Z., Zhao P., Liu X., She Q., Hu Y., Li J. Automatic Detection of Small Sample Apple Surface Defects Using ASDINet, Foods. 2023;12(6):1352. DOI: 10.3390/foods12061352.

11. Liang X., Jia X., Huang W., He X., Li L., Fan S., Li J., Zhao C., Zhang C. Real-Time Grading of Defect Apples Using Semantic Segmentation Combination with a Pruned YOLO V4 Network, Foods. 2022;11(19):3150. DOI: 10.3390/foods11193150.

12. Shi Z., Wu F., Han C., Song D., Wu Y. Detection Model for Cotton Picker Fire Recognition Based on Lightweight Improved YOLOv11, Agriculture. 2025;15(15):1608. DOI: 10.3390/agri-culture15151608.

13. Смирнов И. Г., Дышеков А. И., Девяткин Ф. В. Алгоритм работы автономного роботизированного комплекса мониторинга сорной растительности, Электротехнологии и электрооборудование в АПК. 2024;71:1(54):71-75. DOI: 10.22314/2658-4859-2024-71-1-71-75.

14. Wang M., Li F. Real-Time Accurate Apple Detection Based on Improved YOLOv8n in Complex Natural Environments, Plants. 2025;14(3):365. DOI: 10.3390/plants14030365.

15. Gao F., Fang W., Sun X., Wu Z., Zhao G., Li G., Li R., Fu L., Zhang Q. A novel apple fruit detection and counting methodology based on deep learning and trunk tracking in modern orchard, Comput. Electron. Agric. 2022;197:107000. DOI: 10.1016/j.compag.2022.107000.

16. Хорт Д. О., Кутырев А. И., Смирнов И. Г., Филиппов Р. А., Вершинин Р. В. Разработка алгоритмов системы распознавания ягод земляники садовой при роботизированном сборе, Электротехнологии и электрооборудование в АПК. 2020;67:1(38):133-141.

17. Yan B., Fan P., Lei X., Liu Z., Yang F. A Real-Time Apple Targets Detection Method for Picking Robot Based on Improved YOLOv5, Remote Sensing. 2021;13(9):1619. DOI: 10.3390/rs13091619.

18. Apolo-Apolo O. E., Martínez-Guanter J., Egea G., Raja P., Pérez-Ruiz M. Deep Learning Techniques for Estimation of the Yield and Size of Citrus Fruits Using a UAV, Eur. J. Agron. 2020;115:126030. DOI: 10.1016/j.eja.2020.126030.

19. Sekharamantry P. K., Melgani F., Malacarne J., Ricci R., de Almeida Silva R., Marcato Junior J. A Seamless Deep Learning Approach for Apple Detection, Depth Estimation, and Tracking Using YOLO Models Enhanced by Multi-Head Attention Mechanism, Computers. 2024;13(3):83. DOI: 10.3390/computers13030083.

20. You L., Chen Y., Xiao C., Sun C., Li R. Multi-Object Vehicle Detection and Tracking Algorithm Based on Improved YOLOv8 and ByteTrack, Electronics. 2024;13(15):3033. DOI: 10.3390/electronics13153033.

21. Fu H., Guo Z., Feng Q., Xie F., Zuo Y., Li T. MSOAR-YOLOv10: Multi-Scale Occluded Apple Detection for Enhanced Harvest Robotics, Horticulturae. 2024;10(12):1246. DOI: 10.3390/horticulturae10121246.