Завражнов А. И. – доктор технических наук, академик РАН, профессор
Мичуринск
Zavrazhnov А. I., Dr. Sci. (Tech.), Academician of the RAS, Professor
Michurinsk
Смирнов И. Г. – доктор технических наук, главный научный сотрудник
Москва
Smirnov I. G., Dr. Sci. (Tech.), Chief Researcher
Moscow
Ахмад А. – младший научный сотрудник; старший преподаватель
Москва
Ahmad A., Junior Researcher; Senior Lecturer
Moscow
Халил Х. – магистрант; инженер-конструктор
Москва
Khalil H., Master’s; Design Engineer
Moscow
Саад Р. – инженер; аспирант кафедры робототехнических систем и мехатроники
Москва
Saad R., Engineer; PhD Student of the Robotic Systems and Mechatronics Department
Moscow
Современные задачи управления продукционными и технологичными процессами в садоводстве требуют многоуровневого анализа окружающей среды, который невозможен без интеграции данных с различных сенсоров: видеокамер, лазерных лидаров, тепловизоров и других устройств. Обнаружение объектов – один из ключевых этапов в обработке изображений, однако традиционные методы компьютерного зрения не всегда обеспечивают необходимую точность и производительность. В частности, оптические препятствия и рассеивающее покрытие объектов часто приводят к искажению и потере данных, что затрудняет анализ в сложных условиях. Стереозрение, получаемое с помощью стереокамер, позволяет компенсировать эти недостатки, предоставляя точные данные о глубине сцены и расстоянии до объектов, а также создавая трехмерную модель окружающей среды. В рамках данной работы разработана система трехмерной локализации и распознавания объектов, объединяющая возможности стереокамеры RealSense D455 и модели нейронной сети YOLO v8. Система обеспечивает точную и эффективную обработку изображений в условиях реального времени. Применение стереозрения позволило достичь высокой точности в распознавании объектов и построении 3D-картины окружающего пространства. Отличительной чертой исследования является использование собственного датасета, состоящего из более чем 4000 изображений, собранных в процессе экспериментов, включая изображения с различными визуальными шумами. Датасет позволил адаптировать систему под специфические условия реального применения, повысив ее точность и устойчивость к визуальным помехам. Оценка эффективности продемонстрировала высокие показатели полноты (до 95 %) при обработке до 10 кадров в секунду, что делает систему пригодной для задач реального времени. Также выполнена калибровка стереокамеры для точной оценки расстояний до объектов, что дополнительно увеличило надежность модели. Полученные результаты подтверждают потенциал предложенного подхода для задач автоматизации и анализа в робототехнических системах
Sustainable management of horticultural production requires an eff ective multilevel analysis of the environment, which is impossible without integrating data from various sensors, such as video cameras, laser lidars, thermal imagers, etc. Object detection is a key stage in image processing; however, conventional computer vision may fail to meet the necessary level of accuracy and performance. For example, such an analysis can be complicated by distorted or lost data due to optical barriers and diff using coatings of objects. These shortcomings can be overcome using stereoscopic vision to obtain accurate data on the scene depth and distance to objects, as well as to create a 3D model of the environment. In this article, we propose a system for 3D localization and recognition of objects that combines the capabilities of the RealSense D455 stereo camera and the YOLO v8 neural network model. The system ensures accurate and effi cient image processing in real time. The use of stereoscopic vision made it possible to achieve high accuracy in recognizing objects and constructing a 3D image of the surrounding area. A distinctive feature of the conducted study was the use of the authors’ own dataset, which was compiled by more than 4000 images collected experimentally, including those with visual noises. The dataset allowed the system to be adapted to the specifi c conditions of actual usage, increasing its accuracy and resilience to visual interference. The eff ectiveness evaluation showed the high rates of completeness (up to 95 %) of the system when processing up to 10 frames per second, which makes its suitable for real-time tasks. The stereo camera was calibrated to accurately estimate distances to objects, which further increased the model reliability. The results obtained confi rm the potential of the proposed approach for automation and analysis tasks in robotic systems
The authors declare that there are no conflicts of interest present.