Представьте, что вы держите одной рукой тяжелый предмет, например разводной ключ. Скорее всего, вы возьмете гаечный ключ всеми пальцами, а не только кончиками пальцев. Сенсорные рецепторы на вашей коже, которые расположены по всей длине каждого пальца, будут посылать в ваш мозг информацию об инструменте, который вы держите в руках.

В роботизированной руке тактильные датчики, которые используют камеры для получения информации о захваченных предметах, маленькие и плоские, поэтому они часто расположены на кончиках пальцев. Эти роботы, в свою очередь, используют только кончики пальцев для захвата предметов, как правило, сжимающими движениями. Это ограничивает задачи манипулирования, которые они могут выполнять.

Исследователи Массачусетского технологического института разработали сенсорный датчик на базе камеры, который является длинным, изогнутым и имеет форму человеческого пальца. Их устройство обеспечивает тактильное восприятие с высоким разрешением на большой площади. Датчик, называемый GelSight Svelte, использует два зеркала для отражения и преломления света, так что одна камера, расположенная в основании датчика, может видеть по всей длине пальца. Работа была опубликована на сервере предварительной печати arXiv.

Кроме того, исследователи создали датчик в форме пальца с гибкой основой. Измеряя, как изгибается позвоночник при прикосновении пальца к объекту, они могут оценить усилие, прикладываемое к датчику.

Они использовали датчики GelSight Svelte для создания роботизированной руки, которая была способна схватить тяжелый предмет так же, как это сделал бы человек, используя всю чувствительную область всех трех своих пальцев. Рука также может выполнять те же щипковые захваты, что и традиционные роботизированные захваты.

«Поскольку наш новый датчик имеет форму человеческого пальца, мы можем использовать его для выполнения различных типов захватов для различных задач, вместо того чтобы использовать щипковые захваты для всего. С помощью параллельного челюстного захвата вы можете сделать не так уж много. Наш датчик действительно открывает некоторые новые возможности в различных задачах манипулирования, которые мы могли бы выполнять с помощью роботов», — говорит Алан (Цзялянг) Чжао, аспирант кафедры машиностроения и ведущий автор статьи о GelSight Svelte.

Чжао написал статью вместе со старшим автором Эдвардом Адельсоном, профессором визуальных наук Джона и Дороти Уилсон на факультете мозга и когнитивных наук и сотрудником Лаборатории компьютерных наук и искусственного интеллекта (CSAIL). Результаты исследования будут представлены на конференции IEEE по интеллектуальным роботам и системам.

Камеры, используемые в тактильных датчиках, ограничены своими размерами, фокусным расстоянием объективов и углами обзора. Поэтому эти тактильные датчики, как правило, маленькие и плоские, что ограничивает их доступ к кончикам пальцев робота.

При более длинной чувствительной области, которая больше напоминает человеческий палец, камере нужно было бы располагаться дальше от чувствительной поверхности, чтобы видеть всю область целиком. Это особенно сложно из-за ограничений по размеру и форме роботизированного захвата.

Чжао и Адельсон решили эту проблему, используя два зеркала, которые отражают и преломляют свет в направлении единственной камеры, расположенной у основания пальца.

GelSight Svelte включает в себя одно плоское угловое зеркало, расположенное напротив камеры, и одно длинное изогнутое зеркало, расположенное вдоль задней панели сенсора. Эти зеркала перераспределяют световые лучи от камеры таким образом, что камера может видеть изображение по всей длине пальца.

Чтобы оптимизировать форму, угол наклона и кривизну зеркал, исследователи разработали программное обеспечение для моделирования отражения и преломления света.
Разбивка компонентов, составляющих сенсорный датчик, похожий на палец. Фото: Массачусетский технологический институт

«С помощью этого программного обеспечения мы можем легко поиграть с тем, где расположены зеркала и как они изогнуты, чтобы получить представление о том, насколько хорошо будет выглядеть изображение после того, как мы действительно изготовим сенсор», — объясняет Чжао.

Зеркала, камера и два набора светодиодов для подсветки прикреплены к пластиковой основе и заключены в гибкую оболочку из силиконового геля. Камера просматривает тыльную сторону кожи изнутри; основываясь на деформации, она может увидеть, где происходит контакт, и измерить геометрию контактирующей поверхности объекта.

Кроме того, красные и зеленые светодиодные матрицы дают представление о том, насколько глубоко вдавливается гель при захвате объекта, благодаря насыщенности цвета в разных местах сенсора.

Исследователи могут использовать эту информацию о насыщенности цвета для восстановления объемного изображения объекта, который они захватывают.

Пластиковая основа датчика позволяет ему определять проприоцептивную информацию, такую как крутящий момент, приложенный к пальцу. Позвоночник сгибается при захвате какого-либо предмета. Исследователи используют машинное обучение, чтобы оценить, какая сила прикладывается к датчику, основываясь на этих деформациях позвоночника.

Однако объединение этих элементов в работающий датчик было непростой задачей, говорит Чжао.

«Убедиться, что у вас правильная кривизна зеркала, соответствующая тому, что мы имеем при моделировании, довольно сложно. Кроме того, я понял, что существуют некоторые виды суперклея, которые препятствуют отверждению кремния. Потребовалось много экспериментов, чтобы создать датчик, который действительно работает», — добавляет он.

На этом gif-изображении изображена роботизированная рука, которая включает в себя три датчика GelSight Svelte в форме пальцев. Датчики, которые обеспечивают тактильное восприятие с высоким разрешением на большой площади, позволяют руке выполнять множественные захваты, включая захват щипком, при котором используются только кончики пальцев, и силовой захват, при котором используется вся чувствительная область всех трех пальцев.

После того, как они довели конструкцию до совершенства, исследователи протестировали GelSight Svelte, прижимая предметы, например винт, к разным местам на сенсоре, чтобы проверить четкость изображения и посмотреть, насколько хорошо он может определять форму объекта.

Они также использовали три датчика для создания гибкой руки GelSight, которая может выполнять несколько захватов, включая захват щипком, боковой захват щипком и силовой захват, который использует всю чувствительную область трех пальцев. Большинство роботизированных рук, которые по форме напоминают параллельные челюстные капельницы, могут выполнять только щипковые захваты.

Силовой захват тремя пальцами позволяет роботизированной руке более устойчиво удерживать более тяжелый предмет. Однако щипковые захваты по-прежнему полезны, когда объект очень мал. По его словам, возможность выполнять оба типа захватов одной рукой придала бы роботу большую универсальность.

Двигаясь вперед, исследователи планируют усовершенствовать GelSight Svelte, чтобы датчик был шарнирным и мог сгибаться в суставах, больше напоминая человеческий палец.

«Оптико-тактильные датчики пальцев позволяют роботам использовать недорогие камеры для сбора изображений контакта с поверхностью в высоком разрешении, и, наблюдая за деформацией гибкой поверхности, робот оценивает форму контакта и приложенные усилия. Эта работа представляет собой усовершенствование конструкции пальца GelSight с улучшенным охватом всего пальца и возможностью приблизительного определения моментов изгиба с использованием различий в изображениях и машинного обучения», — говорит Монро Кеннеди III, доцент кафедры машиностроения Стэнфордского университета, который не принимал участия в этом исследовании.

«Улучшение осязания робота до уровня, приближенного к человеческим способностям, является необходимостью и, возможно, главной проблемой для разработки роботов, способных выполнять сложные, ловкие задачи».