Выполнил Студент группы 3331506/60101 Мещеряков Илья, Научный руководитель – Поляхов Дмитрий Николаевич
Цель работы – разработать систему управления с использованием искусственного интеллекта. Задачи: Выбор прототипа манипулятора и его физическая реализация. Разработка нижнего уровня системы управления: Разработка электрической схемы выбранного манипулятора Разработка и моделирование печатной платы управления манипулятором Реализация программы управления манипулятором на языке C Разработка верхнего уровня системы управления: Создание кинематической схемы выбранного прототипа манипулятора Настройка программного комплекса « ROS » для разработки системы управления Реализация подключения стереокамеры Kinect к « ROS » Реализация нейросетевого распознавания объектов Реализация управляющей программы на языке Python 2
3 Материал: Оргстекло (кол-во деталей – 27) Высота : 300 мм Рабочая зона: 140 – 300 мм Грузоподъемность: 0.2 кг Параметры источника питания: 5В, 10А. Сервоприводы MG90s Дальномер HC-SR04 Сервоприводы MG99 5 Микроконтроллер STM с печатной платой управления
4
5
Система управления нижнего уровня hcsr04_read() Опрос датчика string_parse( A 10 1 0 ) сервопривод Заданный угол поворота string_parse( F 10 1 0 ) Реальный угол поворота Система управления верхнего уровня Заданный угол поворота Реальный угол поворота Данные с дальномера 6
7
8
Является надстройкой на ОС для разработки систем управления роботами Представляет собой набор библиотек, использующихся преимущественно в системах управления Преимущества: Имеет библиотеку для работы со стереокамерой Kinect Открытый исходный код (бесплатный) Поддерживает современные языки программирования С++ и Python 9
Kinect — бесконтактный сенсорный игровой контроллер, позволяющий передавать изображения и облака точек пространства перед сенсором. Облако точек используется для получения координат объектов в зоне видимости камеры. 10
TensorFlow — открытая программная библиотека для машинного обучения, разработанная для решения задач построения и тренировки нейронной сети Результат работы программы с нейросетевым распознаванием: 11
1. Захват изображения и формирование облака точек в Kinect Изображение Облако точек 2. Передача изображения и облака точек в ROS Kinect ROS 3. Передача изображения и облака точек в программу распознавания ROS Программа распознавания 4. Идентификация объектов Изображение Идентифицированный объект 5. Получение координат идентифицированных объектов Облако точек Координаты объектов 6. Получение команды пользователя Команда Координата точки пользователя перемещения 8. Перемещение объекта в указанное место Идентифицированный Перемещенный объект объект 12
13
