vstispСадоводство и виноградарствоHorticulture and viticulture0235-25912618-9003Autonomous non-profit organization Editorial Board of journal «Horticulture and viticulture»10.31676/0235-2591-2023-1-43-51vstisp-983Research ArticleИННОВАЦИОННЫЕ ТЕХНОЛОГИИ ВОЗДЕЛЫВАНИЯ СЕЛЬСКОХОЗЯЙСТВЕННЫХ КУЛЬТУРINNOVATIVE TECHNOLOGIES OF CULTIVATION OF AGRICULTURAL CROPSРазработка программно-аппаратного комплекса с мобильным приложением на основе нейронной сети для мониторинга плодов яблони в кроне дереваDeveloping neural-based hardware and soft ware complex with a mobile application for monitoring apple fruits on tree canopyhttps://orcid.org/0000-0001-9992-1261СмирновИ. Г.SmirnovI. G.

Смирнов И. Г. – доктор технических наук, главный научный сотрудник

1-й Институтский проезд, д. 5, г. Москва, 109428

Smirnov I. G. -  Dr. Sci. (Techn.), Chief Researcher

5, 1st Institute Passage, Moscow, 109428

https://orcid.org/0000-0001-7643-775XКутырёвА. И.KutyrevA. I.

Кутырёв А. И. – кандидат технических наук, старший научный сотрудник

1-й Институтский проезд, д. 5, г. Москва, 109428

Kutyrev A. I. - PhD Sci. (Techn.), Senior Researcher

5, 1st Institute Passage, Moscow, 109428

alexeykutyrev@gmail.comhttps://orcid.org/0000-0001-6503-0065ХортД. О.KhortD. O.

Хорт Д. О. – кандидат сельскохозяйственных наук, ведущий научный сотрудник

1-й Институтский проезд, д. 5, г. Москва, 109428

Khort D. О. - PhD Sci. (Agric.), Leading Researcher

https://orcid.org/0000-0003-1069-3771ТумаеваЕ. А.TumaevaT. A.

Тумаева Т. А. – кандидат сельскохозяйственных наук, ведущий научный сотрудник

Tumaeva T. A. - PhD Sci. (Agric.), Leading Researcher

https://orcid.org/0000-0002-6172-9597БурменкоЮ. В.BurmenkoYu. V.

Бурменко Ю. В. – кандидат биологических наук, старший научный сотрудник

Burmenko Yu. V. - PhD Sci. (Biol.), Senior Researcher

Федеральный научный агроинженерный центр ВИМРоссияFederal Scientific Agroengineering Center VIMRussian FederationФедеральный научный селекционно-технологический центр садоводства и питомниководстваРоссияFederal Horticultural Research Center for Breeding, Agrotechnology and NurseryRussian Federation202317032023014351Copyright © Autonomous non-profit organization Editorial Board of journal «Horticulture and viticulture», 20232023Autonomous non-profit organization Editorial Board of journal «Horticulture and viticulture»Autonomous non-profit organization Editorial Board of journal «Horticulture and viticulture»https://www.sadivin.com/jour/about/submissions#copyrightNoticehttps://www.sadivin.com/jour/article/view/983

В статье представлен разработанный программно-аппаратный комплекс с мобильным приложением на основе нейронной сети, который позволяет идентифицировать плоды яблони в кроне деревьев, вести их подсчёт, определять количество плодов, поражённых болезнями и темпы роста плодов для вычисления объёма урожая во время вегетационного периода. Программно-аппаратный комплекс состоит из блока сбора фото (изображений), который включает клиентское программное средство (мобильное приложение, цифровая камера), блока обработки полученных изображений, который включает базу данных и нейронную сеть, а также блока анализа полученных данных. Для идентификации плодов яблони в кроне дерева разработана нейронная сеть на основе архитектуры VGG-16 и SSD − для диагностики изображений здоровых и поражённых болезнями плодов. Классами плодов для обучения нейронной сети выбраны здоровые красные и зелёные плоды; поражённые болезнями – паршой, мучнистой росой, плодовой гнилью и имеющие механические повреждения. Программное обеспечение запускается и функционирует на операционной системе Ubuntu, мобильное приложение на операционной системе Android. ПО и мобильное приложение могут работать на основе входящих фотографий (изображений) в режиме онлайн, а также с использованием ранее отснятого фотоматериала. Разработанная база данных содержит структурированную информацию о всех произведённых полевых измерениях, итогах расчётов количества плодов яблони на исследуемых рядах насаждений. В результате проведённых экспериментов установлено, что точность оценки общего количества плодов на кроне дерева по сравнению с истинным значением составила 94,7 %, точность подсчёта количества поражённых плодов составила 90,4 %. Средняя скорость распознавания образов не превышает 0,6 секунд на одно изображение, средняя скорость сегментации плода яблони от фона не превышает 0,8 секунд на одно изображение, средняя скорость анализа одного изображения и получения результата распознавания не превышает 1,5 секунды при соблюдении технических требований к серверу и требований к изображениям

The paper presents a soft ware and hardware complex with a mobile application based on a neural network, designed to identify apple fruits on tree canopy, to count their number, to determine the quantity of fruits affected by diseases, as well as to estimate the growth rate of apple fruits and, thus, to calculate the total yield during the growing season. The developed soft ware and hardware complex consists of a photo (image) collection unit with client soft ware (a mobile application, a digital camera), a unit for processing the obtained images, which includes a database and a neural network, and a unit for interpretation of the obtained data. A neural network based on VGG-16 and SSD architecture was developed to identify apple fruits on the tree canopy for evaluating apple fruits and distinguishing sound fruits and those affected by disease. Training of the neural network was based on the selected classes of sound red and green apple fruits, and apple fruits affected by diseases – scab, powdery mildew, fruit rot, as well as mechanical damage. The soft ware runs and operates on Ubuntu operating system, a mobile application – on Android. The soft ware package and mobile application are capable of processing incoming photos (images) online, as well as to use previously captured photos. The generated database collects structured information about all field measurements and calculations of the number of apple fruits on the planting rows under study. The experiments conducted on an industrial apple plantation showed that the accuracy of estimating the total number of fruits on the tree canopy compared to the true value was 94.7%, the accuracy of calculating the number of affected fruits was 90.4%. When technical requirements for the server and requirements for images are met, the average recognition rate does not exceed 0.6 seconds per image, the average segmentation rate of the apple fruits from the background does not exceed 0.8 seconds per image, the average speed of analyzing one image and obtaining the recognition result does not exceed 1.5 seconds.

цифровой мониторингидентификация плодов яблонимобильное приложениенейронная сетьпрогноз урожайностипоражение болезнямиdigital monitoringidentifi cation of apple fruitsmobile applicationneural networkyield predictiondisease damageReferencesWulfsohn D., Zamora F. A., Téllez C. P., Lagos I. Z., García-Fiñana M. Multilevel systematic sampling to estimate total fruit number for yield forecasts. Precis. Agric. 2012;13:256-275.Wulfsohn D., Zamora F. A., Téllez C. P., Lagos I. Z., García-Fiñana M. Multilevel systematic sampling to estimate total fruit number for yield forecasts. Precis. Agric. 2012;13:256-275.Shurygin B., Smirnov I., Chilikin A., Khort D., Kutyrev A., Zhukovskaya S., Solovchenko A. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages. Horticulturae 2022;8:1111.Shurygin B., Smirnov I., Chilikin A., Khort D., Kutyrev A., Zhukovskaya S., Solovchenko A. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages. Horticulturae 2022;8:1111.Jimenez A. R., Ceres R., Pons J. L. A survey of computer vision methods for locating fruiton trees. Transactions of the ASAE-American Society of Agricultural Engineers. 2000;43(6):1911-1920.Jimenez A. R., Ceres R., Pons J. L. A survey of computer vision methods for locating fruiton trees. Transactions of the ASAE-American Society of Agricultural Engineers. 2000;43(6):1911-1920.Kapach K., Barnea E., Mairon R., Edan Y., Ben-Shahar O. Computer Vision for Fruit-Harvesting Robots - state of the Art and Challenges Ahead. International Journal of Computational Vision and Robotics. 2012;3(1-2):4-34.Kapach K., Barnea E., Mairon R., Edan Y., Ben-Shahar O. Computer Vision for Fruit-Harvesting Robots - state of the Art and Challenges Ahead. International Journal of Computational Vision and Robotics. 2012;3(1-2):4-34.Kim D., Choi H., Choi J., Yoo S. J., Han D. A Novel Red Apple Detection Algorithm Basedon AdaBoost Learning. IEIE Transactions on Smart Processing & Computing. 2015;4(4):265-271.Kim D., Choi H., Choi J., Yoo S. J., Han D. A Novel Red Apple Detection Algorithm Basedon AdaBoost Learning. IEIE Transactions on Smart Processing & Computing. 2015;4(4):265-271.Ali M. M., Bachik N. A., Bachik N. A., Muhadi N .A., Yusof T. N. T., Gomes C. Non-destructive techniques of detecting plant diseases: a review. Physiol Mol Plant P. 2019;108:101426.Ali M. M., Bachik N. A., Bachik N. A., Muhadi N .A., Yusof T. N. T., Gomes C. Non-destructive techniques of detecting plant diseases: a review. Physiol Mol Plant P. 2019;108:101426.Wu A., Zhu J., Ren T. Detection of apple defect using laser-induced light backscattering imaging and convolutional neural network. Computers and Electrical Engineering. 2020;81:106454.Wu A., Zhu J., Ren T. Detection of apple defect using laser-induced light backscattering imaging and convolutional neural network. Computers and Electrical Engineering. 2020;81:106454.Fountas S., Sorensen C. G., Tsiropoulos Z., Cavalaris C., Liakos V., Gemtos T. Farm machinery management information system. Computers and electronics in agriculture. 2015;110:131-138.Fountas S., Sorensen C. G., Tsiropoulos Z., Cavalaris C., Liakos V., Gemtos T. Farm machinery management information system. Computers and electronics in agriculture. 2015;110:131-138.Zhao P., Liu G., Li M.Z. Management information system for apple diseases and insect pests based on GIS. Trans. Chin. Soc. Agric. Eng. 2006;22:150-154.Zhao P., Liu G., Li M.Z. Management information system for apple diseases and insect pests based on GIS. Trans. Chin. Soc. Agric. Eng. 2006;22:150-154.Cheng H., Damerow L., Sun Y., Blanke M, Early Yield Prediction Using Image Analysis of Apple Fruit and Tree Canopy Features with Neural Networks. Journal of Imaging. 2017;3(1):6.Cheng H., Damerow L., Sun Y., Blanke M, Early Yield Prediction Using Image Analysis of Apple Fruit and Tree Canopy Features with Neural Networks. Journal of Imaging. 2017;3(1):6.Yirui H., Zhenhui R., Dongming L., Xuan L. Phenotypic techniques and applications in fruit trees: a review. Plant Methods. 2020;16:107.Yirui H., Zhenhui R., Dongming L., Xuan L. Phenotypic techniques and applications in fruit trees: a review. Plant Methods. 2020;16:107.Khort D. O., Smirnov I. G., Kutyrev A. I. Development of an automated weather complex for managing agricultural technologies in horticulture: E3S Web of Conferences. International Conference on Modern Trends in Manufacturing Technologies and Equipment. ICMTMTE 2020. 2020, 01049.Khort D. O., Smirnov I. G., Kutyrev A. I. Development of an automated weather complex for managing agricultural technologies in horticulture: E3S Web of Conferences. International Conference on Modern Trends in Manufacturing Technologies and Equipment. ICMTMTE 2020. 2020, 01049.Zubina V. A., Kutyrev A. I. Development of a soft ware package for the tractor fleet formation in agricultural organizations: MATEC WEB OF CONFERENCES. The proceedings International Conference on Modern Trends in Manufacturing Technologies and Equipment: Mechanical Engineering and Materials Science. ICMTMTE 2019. 2019, 00102.Zubina V. A., Kutyrev A. I. Development of a soft ware package for the tractor fleet formation in agricultural organizations: MATEC WEB OF CONFERENCES. The proceedings International Conference on Modern Trends in Manufacturing Technologies and Equipment: Mechanical Engineering and Materials Science. ICMTMTE 2019. 2019, 00102.Khort D., Kutyrev A., Smirnov I., Voronkov I. Automated system for designing and management of agricultural technologies in horticulture: 2020 IEEE International Conference on Problems of Infocommunications Science and Technology, PIC S and T 2020 - Proceedings. 2021, 827-832.Khort D., Kutyrev A., Smirnov I., Voronkov I. Automated system for designing and management of agricultural technologies in horticulture: 2020 IEEE International Conference on Problems of Infocommunications Science and Technology, PIC S and T 2020 - Proceedings. 2021, 827-832.Kaivosoja J., Jackenkroll M., Linkolehto R., Weis M., Gerhards R. Automatic control of farming operations based on spatial web services. Computers and electronics in agriculture. 2014;100:110-115.Kaivosoja J., Jackenkroll M., Linkolehto R., Weis M., Gerhards R. Automatic control of farming operations based on spatial web services. Computers and electronics in agriculture. 2014;100:110-115.Ampatzidis Y., Tan L., Haley R., Whiting M. D. Cloud-based harvest management information system for hand-harvested specialty crops. Computers and electronics in agriculture. 2016;122:161-167.Ampatzidis Y., Tan L., Haley R., Whiting M. D. Cloud-based harvest management information system for hand-harvested specialty crops. Computers and electronics in agriculture. 2016;122:161-167.Miranda C., Santesteban L. G., Urrestarazu J., Loidi M., Royo J. B. Sampling stratification using aerial imagery to estimate fruit load in peach tree orchards. Agriculture. 2018;8:78.Miranda C., Santesteban L. G., Urrestarazu J., Loidi M., Royo J. B. Sampling stratification using aerial imagery to estimate fruit load in peach tree orchards. Agriculture. 2018;8:78.Khort D. O., Kutyrev A. I., Smirnov I. G. Research into the parameters of a robotic platform for harvesting apples. Lecture Notes in Networks and Systems. 2022;463;149-159.Khort D. O., Kutyrev A. I., Smirnov I. G. Research into the parameters of a robotic platform for harvesting apples. Lecture Notes in Networks and Systems. 2022;463;149-159.Khort D. O., Kutyrev A. I., Filippov R. A., Vershinin R. V. Device for robotic picking of strawberries: E3S Web of Conferences. Сер. International Conference on Modern Trends in Manufacturing Technologies and Equipment. ICMTMTE 2020. 2020, 01045.Khort D. O., Kutyrev A. I., Filippov R. A., Vershinin R. V. Device for robotic picking of strawberries: E3S Web of Conferences. Сер. International Conference on Modern Trends in Manufacturing Technologies and Equipment. ICMTMTE 2020. 2020, 01045.Kutyrev A., Kiktev N., Jewiarz M., Khort D., Smirnov I., Zubina V., Hutsol T., Tomasik M., Biliuk M. Robotic Platform for Horticulture: Assessment Methodology and Increasing the Level of Autonomy. Sensors. 2022;22:8901.Kutyrev A., Kiktev N., Jewiarz M., Khort D., Smirnov I., Zubina V., Hutsol T., Tomasik M., Biliuk M. Robotic Platform for Horticulture: Assessment Methodology and Increasing the Level of Autonomy. Sensors. 2022;22:8901.

The authors declare that there are no conflicts of interest present.