Реализация системы трехмерной локализации и распознавания объектов с использованием стереокамеры и нейронных сетей в реальном времени

Современные задачи управления продукционными и технологичными процессами в садоводстве требуют многоуровневого анализа окружающей среды, который невозможен без интеграции данных с различных сенсоров: видеокамер, лазерных лидаров, тепловизоров и других устройств. Обнаружение объектов – один из ключевых этапов в обработке изображений, однако традиционные методы компьютерного зрения не всегда обеспечивают необходимую точность и производительность. В частности, оптические препятствия и рассеивающее покрытие объектов часто приводят к искажению и потере данных, что затрудняет анализ в сложных условиях. Стереозрение, получаемое с помощью стереокамер, позволяет компенсировать эти недостатки, предоставляя точные данные о глубине сцены и расстоянии до объектов, а также создавая трехмерную модель окружающей среды. В рамках данной работы разработана система трехмерной локализации и распознавания объектов, объединяющая возможности стереокамеры RealSense D455 и модели нейронной сети YOLO v8. Система обеспечивает точную и эффективную обработку изображений в условиях реального времени. Применение стереозрения позволило достичь высокой точности в распознавании объектов и построении 3D-картины окружающего пространства. Отличительной чертой исследования является использование собственного датасета, состоящего из более чем 4000 изображений, собранных в процессе экспериментов, включая изображения с различными визуальными шумами. Датасет позволил адаптировать систему под специфические условия реального применения, повысив ее точность и устойчивость к визуальным помехам. Оценка эффективности продемонстрировала высокие показатели полноты (до 95 %) при обработке до 10 кадров в секунду, что делает систему пригодной для задач реального времени. Также выполнена калибровка стереокамеры для точной оценки расстояний до объектов, что дополнительно увеличило надежность модели. Полученные результаты подтверждают потенциал предложенного подхода для задач автоматизации и анализа в робототехнических системах

1. Хорт Д. О., Кутырев А. И., Смирнов И. Г., Воронков И. В. Разработка системы автоматизированного управления агротехнологиями в садоводстве, Сельскохозяйственные машины и технологии. 2021;15(2):61-68. DOI: 10.22314/2073-7599-2021-15-2-61-68.

2. Guff anti D., Brunete A., Hernando M., Rueda J., Navarro C. E. The Accuracy of the Microsoft Kinect V2 Sensor for Human Gait Analysis, A Diff erent Approach for Comparison with the Ground Truth, Sensors. 2020;20(16):4405. DOI: 10.3390/s20164405.

3. Andriyanov N., Khasanshin I., Utkin D., Gataullin T., Ignar S., Shumaev V., Soloviev V. Intelligent System for Estimation of the Spatial Position of Apples Based on YOLOv3 and Real Sense Depth Camera D415, Symmetry. 2022;14:148. DOI: 10.3390/sym14010148.

4. Intel® RealSense™ LiDAR Camera L515, URL: https://www.intelrealsense.com/lidar-camera-l515/. Ссылка активна на 29.06.2024.

5. Intel® RealSense™ Depth Camera D455, URL: https://www.intelrealsense.com/depth-camera-d455/. Ссылка активна на 01.06.2024.

6. Калибровка камеры, URL: https://ru.wikipedia.org/wiki/%D0%9A%D0%B0%D0%BB%D0%B8%D0%B1%D1%80%D0%BE%D0%B2%D0%BA%D0%B0_%D0%BA%D0%B0%D0%BC%D0%B5%D1%80%D1%8B, дата обращения: 10.03.2025