Preview

Садоводство и виноградарство

Расширенный поиск
Доступ открыт Открытый доступ  Доступ закрыт Только для подписчиков

Разработка программно-аппаратного комплекса с мобильным приложением на основе нейронной сети для мониторинга плодов яблони в кроне дерева

https://doi.org/10.31676/0235-2591-2023-1-43-51

Полный текст:

Аннотация

В статье представлен разработанный программно-аппаратный комплекс с мобильным приложением на основе нейронной сети, который позволяет идентифицировать плоды яблони в кроне деревьев, вести их подсчёт, определять количество плодов, поражённых болезнями и темпы роста плодов для вычисления объёма урожая во время вегетационного периода. Программно-аппаратный комплекс состоит из блока сбора фото (изображений), который включает клиентское программное средство (мобильное приложение, цифровая камера), блока обработки полученных изображений, который включает базу данных и нейронную сеть, а также блока анализа полученных данных. Для идентификации плодов яблони в кроне дерева разработана нейронная сеть на основе архитектуры VGG-16 и SSD − для диагностики изображений здоровых и поражённых болезнями плодов. Классами плодов для обучения нейронной сети выбраны здоровые красные и зелёные плоды; поражённые болезнями – паршой, мучнистой росой, плодовой гнилью и имеющие механические повреждения. Программное обеспечение запускается и функционирует на операционной системе Ubuntu, мобильное приложение на операционной системе Android. ПО и мобильное приложение могут работать на основе входящих фотографий (изображений) в режиме онлайн, а также с использованием ранее отснятого фотоматериала. Разработанная база данных содержит структурированную информацию о всех произведённых полевых измерениях, итогах расчётов количества плодов яблони на исследуемых рядах насаждений. В результате проведённых экспериментов установлено, что точность оценки общего количества плодов на кроне дерева по сравнению с истинным значением составила 94,7 %, точность подсчёта количества поражённых плодов составила 90,4 %. Средняя скорость распознавания образов не превышает 0,6 секунд на одно изображение, средняя скорость сегментации плода яблони от фона не превышает 0,8 секунд на одно изображение, средняя скорость анализа одного изображения и получения результата распознавания не превышает 1,5 секунды при соблюдении технических требований к серверу и требований к изображениям

Об авторах

И. Г. Смирнов
Федеральный научный агроинженерный центр ВИМ
Россия

Смирнов И. Г. – доктор технических наук, главный научный сотрудник

1-й Институтский проезд, д. 5, г. Москва, 109428



А. И. Кутырёв
Федеральный научный агроинженерный центр ВИМ
Россия

Кутырёв А. И. – кандидат технических наук, старший научный сотрудник

1-й Институтский проезд, д. 5, г. Москва, 109428



Д. О. Хорт
Федеральный научный агроинженерный центр ВИМ
Россия

Хорт Д. О. – кандидат сельскохозяйственных наук, ведущий научный сотрудник

1-й Институтский проезд, д. 5, г. Москва, 109428



Е. А. Тумаева
Федеральный научный селекционно-технологический центр садоводства и питомниководства
Россия

Тумаева Т. А. – кандидат сельскохозяйственных наук, ведущий научный сотрудник



Ю. В. Бурменко
Федеральный научный селекционно-технологический центр садоводства и питомниководства
Россия

Бурменко Ю. В. – кандидат биологических наук, старший научный сотрудник



Список литературы

1. Wulfsohn D., Zamora F. A., Téllez C. P., Lagos I. Z., García-Fiñana M. Multilevel systematic sampling to estimate total fruit number for yield forecasts. Precis. Agric. 2012;13:256-275.

2. Shurygin B., Smirnov I., Chilikin A., Khort D., Kutyrev A., Zhukovskaya S., Solovchenko A. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages. Horticulturae 2022;8:1111.

3. Jimenez A. R., Ceres R., Pons J. L. A survey of computer vision methods for locating fruiton trees. Transactions of the ASAE-American Society of Agricultural Engineers. 2000;43(6):1911-1920.

4. Kapach K., Barnea E., Mairon R., Edan Y., Ben-Shahar O. Computer Vision for Fruit-Harvesting Robots - state of the Art and Challenges Ahead. International Journal of Computational Vision and Robotics. 2012;3(1-2):4-34.

5. Kim D., Choi H., Choi J., Yoo S. J., Han D. A Novel Red Apple Detection Algorithm Basedon AdaBoost Learning. IEIE Transactions on Smart Processing & Computing. 2015;4(4):265-271.

6. Ali M. M., Bachik N. A., Bachik N. A., Muhadi N .A., Yusof T. N. T., Gomes C. Non-destructive techniques of detecting plant diseases: a review. Physiol Mol Plant P. 2019;108:101426.

7. Wu A., Zhu J., Ren T. Detection of apple defect using laser-induced light backscattering imaging and convolutional neural network. Computers and Electrical Engineering. 2020;81:106454.

8. Fountas S., Sorensen C. G., Tsiropoulos Z., Cavalaris C., Liakos V., Gemtos T. Farm machinery management information system. Computers and electronics in agriculture. 2015;110:131-138.

9. Zhao P., Liu G., Li M.Z. Management information system for apple diseases and insect pests based on GIS. Trans. Chin. Soc. Agric. Eng. 2006;22:150-154.

10. Cheng H., Damerow L., Sun Y., Blanke M, Early Yield Prediction Using Image Analysis of Apple Fruit and Tree Canopy Features with Neural Networks. Journal of Imaging. 2017;3(1):6.

11. Yirui H., Zhenhui R., Dongming L., Xuan L. Phenotypic techniques and applications in fruit trees: a review. Plant Methods. 2020;16:107.

12. Khort D. O., Smirnov I. G., Kutyrev A. I. Development of an automated weather complex for managing agricultural technologies in horticulture: E3S Web of Conferences. International Conference on Modern Trends in Manufacturing Technologies and Equipment. ICMTMTE 2020. 2020, 01049.

13. Zubina V. A., Kutyrev A. I. Development of a soft ware package for the tractor fleet formation in agricultural organizations: MATEC WEB OF CONFERENCES. The proceedings International Conference on Modern Trends in Manufacturing Technologies and Equipment: Mechanical Engineering and Materials Science. ICMTMTE 2019. 2019, 00102.

14. Khort D., Kutyrev A., Smirnov I., Voronkov I. Automated system for designing and management of agricultural technologies in horticulture: 2020 IEEE International Conference on Problems of Infocommunications Science and Technology, PIC S and T 2020 - Proceedings. 2021, 827-832.

15. Kaivosoja J., Jackenkroll M., Linkolehto R., Weis M., Gerhards R. Automatic control of farming operations based on spatial web services. Computers and electronics in agriculture. 2014;100:110-115.

16. Ampatzidis Y., Tan L., Haley R., Whiting M. D. Cloud-based harvest management information system for hand-harvested specialty crops. Computers and electronics in agriculture. 2016;122:161-167.

17. Miranda C., Santesteban L. G., Urrestarazu J., Loidi M., Royo J. B. Sampling stratification using aerial imagery to estimate fruit load in peach tree orchards. Agriculture. 2018;8:78.

18. Khort D. O., Kutyrev A. I., Smirnov I. G. Research into the parameters of a robotic platform for harvesting apples. Lecture Notes in Networks and Systems. 2022;463;149-159.

19. Khort D. O., Kutyrev A. I., Filippov R. A., Vershinin R. V. Device for robotic picking of strawberries: E3S Web of Conferences. Сер. International Conference on Modern Trends in Manufacturing Technologies and Equipment. ICMTMTE 2020. 2020, 01045.

20. Kutyrev A., Kiktev N., Jewiarz M., Khort D., Smirnov I., Zubina V., Hutsol T., Tomasik M., Biliuk M. Robotic Platform for Horticulture: Assessment Methodology and Increasing the Level of Autonomy. Sensors. 2022;22:8901.


Рецензия

Для цитирования:


Смирнов И.Г., Кутырёв А.И., Хорт Д.О., Тумаева Е.А., Бурменко Ю.В. Разработка программно-аппаратного комплекса с мобильным приложением на основе нейронной сети для мониторинга плодов яблони в кроне дерева. Садоводство и виноградарство. 2023;(1):43-51. https://doi.org/10.31676/0235-2591-2023-1-43-51

For citation:


Smirnov I.G., Kutyrev A.I., Khort D.O., Tumaeva T.A., Burmenko Yu.V. Developing neural-based hardware and soft ware complex with a mobile application for monitoring apple fruits on tree canopy. Horticulture and viticulture. 2023;(1):43-51. (In Russ.) https://doi.org/10.31676/0235-2591-2023-1-43-51

Просмотров: 191


ISSN 0235-2591 (Print)
ISSN 2618-9003 (Online)