Инженеры научились управлять роботом Centauro при помощи жестов
Создатели роботов либо перекладывают их управление на искусственный интеллект, либо управляют самостоятельно при помощи контроллеров. Исследователи из Итальянского технологического института и Боннского университета пошли по другому пути и научили робота Centauro повторять движения за человеком используя компьютерное зрение.
Роботизированный кентавр был представлен в конце июля 2018 года. Он оснащен четырьмя ногами с поворотными колесами, двумя руками и массивом камер для восприятия окружающей среды. Робот предназначен для выполнения спасательных операций где важна точность движений, поэтому ранее для передачи команд использовался экзоскелет. Такой способ манипулирования требовал от оператора предварительной физической подготовки, поэтому разработчики решили избавиться от тяжелой конструкции.
Вместо экзоскелета было решено использовать технологию распознавания и повторения движений. Для этого инженеры использовали 3D-камеру ASUS Xtion PRO и алгоритм OpenPose для распознавания положения туловища, рук и ног. Для приведения робота в движение, алгоритм изучает полученные от камеры кадры и создает движущуюся модель оператора. Ее ключевые точки становятся ориентирами для планировщика движений, который и заставляет механизмы робота двигаться.
Повинуясь указаниям оператора, Centauro смог переместить и поднять картонную коробку, а также повернуть рычаг. Алгоритм OpenPose также умеет передавать движения пальцев, поэтому при их наличии робот может работать и с более мелкими деталями.
Помимо взаимодействия с предметами, Centauro умеет передвигаться на четырех ногах и преодолевать препятствия. Конструкция поддерживает шесть степеней свободы, то есть кроме осуществления движений по сторонам и поднятия на высоту, робот способен двигаться под углом.