Роботизированная инвалидная коляска

Исследование и разработка эффективных методов управления роботизированной мобильной многофункциональной инвалидной коляской для людей с ограниченными возможностями

Оснащение коляски современными человеко-машинными интерфейсами, использующими систему управления с элементами искусственного интеллекта и развитую сенсорику

Люди с нарушениями моторики конечностей, для которых управление джойстиком не представляется возможным или затруднено:
– люди с ДЦП
– частично – с аплазией конечностей (отсутствие конечностей с рождения)
– потерявшие конечности вследствие травм
– проходящие реабилитацию после инсультов
– парализованные

Сенсорная система

Разработан прототип, полноценно функционирующий в помещении:
– активно используется для междисциплинарных исследований в области робототехники, человеко-машинных интерфейсов, нейрокогнитивных и социогуманитарных наук
– принимал участие в соревнованиях «Нейротлон» (сентябрь и декабрь 2019 г.) Под управлением участников-инвалидов оба раза занял первое место в дисциплине NeuroWheel

Интеллектуальная система управления
– управление через мультимодальный человеко-машинный интерфейс
– распознавание потенциально опасных движений и их блокировка
– режим автоматического перемещения в точку
– построение семантической карты
– построение семиотической картины мира
– отдача голосовых команд на языке, близком к естественному

Мультимодальный человеко-машинный интерфейс (ММЧМИ) – концепция, при которой команда управления коляской формируется на основе нескольких сигналов от человека.
Все интерфейсы управления коляской подключаются к системе управления посредством ММЧМИ.

Развитая сенсорная система и реализованные на борту элементы интеллектуальных систем обеспечивают безопасность перемещения.

На вход ММЧМИ поступают сигналы нескольких типов:
– командный  – формирование управляющего сигнала
– подтверждающий – верификация командных сигналов
– режимный – переключение режимов управления

При использовании ММЧМИ:
– не обязательно задействуются все три входа
– на подтверждающий вход одновременно могут подаваться сигналы с разных интерфейсов – верификация выполнится по первому положительному сигналу от них
– один и тот же интерфейс может быть задействован на нескольких входах ММЧМИ – в зависимости от режима управления он играет разную роль в формировании управляющего сигнала.

Подход с ММЧМИ делает управление точнее, исключая случайные срабатывания. Частным примером непреднамеренных управляющих воздействий является проблема «прикосновения Мидаса», возникающая при глазоуправлении: взгляд человека переключается на объекты, возникающие в его поле зрения, при этом намеренные движения глаз сложно отличимы от спонтанных. Для  разрешения таких случаев ведутся исследования.

Комбинирование интерфейсов ММЧМИ позволяет подобрать режим, наиболее предпочтительный для пользователя, исходя из его индивидуальных особенностей.

Во время движения благодаря сканирующему дальномеру и стереокамерам коляска получает данные об окружающем мире – трёхмерное облако точек. На основе этих данных система управления с элементами искусственного интеллекта предупреждает опасные ситуации, блокируя перемещение.

Семиотическая модель мира позволяет коляске связывать объекты отношениями и обеспечивает возможность применения логического вывода. На её основе также реализуется некоторые автономные поведенческие процедуры.
Знаковое представление модели мира коляски (основано на работе “Знаковая картина мира субъекта поведения” Г.С. Осиповым) формализовано с помощью языка описания задач планирования STRIPS.

Семиотическая система управления коляской состоит из базы знаний, содержащей набор знаков, и внешних интерфейсных модулей, транслирующих команды внешних систем в образы знаков и вычисляющих требуемую реакцию коляски по образам знаков.

Чтобы коляска поняла голосовую команду используются модули лингвистического разбора и семиотческая модель мира. Лингвистический модуль выдаёт разбор фразы в виде графовой структуры, которая в ходе анализа преобразуется в элементы семиотической модели мира и на основе этого определяется команда коляски. При этом устраняются неоднозначности команд за счет разрешения пространственных отношений и учета направления взгляда оператора.
Семиотическая модель мира позволяет коляске связывать объекты отношениями и обеспечивает возможность применения логического вывода. На её основе также реализуется некоторые автономные поведенческие процедуры.

Общая структура ПО знаковой системы управления

Московский Антон
руководитель проекта, разработка системы управления

Малышев Александр
сопровождение проекта, разработка систем голосового человеко-машинного взаимодействия

Ровбо Максим
разработка системы навигации и предотвращения аварийных ситуаций

Сорокоумов Петр
разработка систем восприятия окружающей среды

Чжао Дарисий
разработка нейрокогнитивных интерфейсов

2022

1. Rovbo M. A., Sorokoumov P. S. Symbolic Control System for a Mobile Robotic Platform Based on Soar Cognitive Architecture // Smart Electromechanical Systems, 2022 – pp.259-275
2. Yashin Artem, Zhao Darisy, Stolyarova Anastasiya, Moscowsky Anton, Yakovlev Dmitry, Nazhestkin Ivan, Shishkin Sergei, Dubynin Ignat. Subjective distance estimates and sense of agency in robotic wheelchair control // Applied Sciences, Volume 12, 2022 – pp.6217
3. Московский А.Д., Ровбо М.А. Разработка средств обучения реалистичных моделей мобильных роботов в симуляторе ROS Gazebo // Вестник военного инновационного технополиса Эра, №2, т.3, 2022 – с.175-181
4. Московский А.Д. Программа обучения искусственной нейронной сети предсказанию опасностей во время движения мобильного робота по данным стереокамеры / Программа для ЭВМ №2022661794, 27.06.2022 // Свидетельство о государственной регистрации программы для ЭВМ, 2022
5. Московский А.Д., Ровбо М.А., Сорокоумов П.С. Предсказание опасных ситуаций по данным стереокамеры при движении мобильного робота по сложному ландшафту // 33-я международная научно-техническая конференция «Экстремальная робототехника», С.-Петербург, 29-30 сентября, 2022
6. Чжао Д.Г. Программный комплекс для обработки, анализа и визуализации данных электроэнцефалограммы в экспериментах по управлению роботизированной инвалидной / Программа для ЭВМ №2022610513 от 12.01.2022 // Свидетельство о государственной регистрации программы для ЭВМ, 2022
7. Котов А.А., Аринкин Н.А., Зайдельман Л.Я., Зинина А.А., Ровбо М.А., Сорокоумов П.С., Филатов А.А. Разрешение омонимии при интерпретации речевых команд мобильным роботом // Искусственный интеллект и принятие решений, т.4, 2022 – с.99-111
8. Ровбо М.А. Программа сбора данных для обучения системы обнаружения опасностей при движении / Программа для ЭВМ, № 2022660725, от 09.06.2022 // Свидетельство о государственной регистрации программы для ЭВМ, 2022

2021

1. Чжао Д.Г., Московский А.Д., Мельничук Е.В., Величковский Б.М., Шишкин С.Л. Чем интересна ЭЭГ, регистрируемая при управлении роботизированной инвалидной коляской с помощью взгляда? // Сборник материалов конференции “Когнитивная наука в Москве: Новые исследования – 2021”, 2021 – с.548 – 553
2. Куликовский О.Д., Ровбо М.А., Сорокоумов П.С. Программа семиотической обработки пространственных отношений / Программа для ЭВМ, №2021661588 от 06.07.2021 // Свидетельство о государственной регистрации программы для ЭВМ, 2021
3. Ровбо М.А., Сорокоумов П.С. Программа редактирования семиотических сетей с графическим пользовательским интерфейсом / Программа для ЭВМ, № 2021661681 от 14.07.2021 // Свидетельство о государственной регистрации программы для ЭВМ, 2021
4. Sorokoumov P.S., Rovbo M.A., Moscowsky A.D., Malyshev A.A. Robotic Wheelchair Control System for Multimodal Interfaces Based on a Symbolic Model of the World // Smart Electromechanical Systems, 2021 – pp.163-183
5. Поярков Д.И., Московский А.Д. Программа определения позиции и ориентации камеры по статичным маркерам / Программа для ЭВМ, №2021661587 от 13.07.2021 // Свидетельство о государственной регистрации программы для ЭВМ, 2021

2020

1. Ровбо М.А., Московский А.Д. Программа управления роботизированным креслом при помощи взгляда / Программа для ЭВМ, №2021611044 от 25.11.2020 // Свидетельство о государственной регистрации программы для ЭВМ, 2020
2. Ровбо М.А., Сорокоумов П.С. Семиотический пользовательский интерфейс на основе словаря / Программа для ЭВМ, №2020611135 // Свидетельство о государственной регистрации программы для ЭВМ, 2020
3. Московский А.Д. Система автоматического формирования семантического слоя карты / Программа для ЭВМ, №2020619217 от 13.09.2020 // Свидетельство о государственной регистрации программы для ЭВМ, 2020

2019

1. Московский А.Д. Недоопределённые модели в задаче локализации мобильного робота // V Всероссийский научно-практический семинар Беспилотные транспортные средства с элементами искусственного интеллекта, 2019 – с.9-19
2. Карпов В.Э., Малахов Д.Г., Московский А.Д., Ровбо М.А., Сорокоумов П.С., Величковский Б.М., Ушаков В.Л. Архитектура системы управления для инвалидной коляски: на пути к многофункциональному роботу с нейробиологическими интерфейсами // Современные технологии в медицине, №1, т.11, 2019 – с.90-102
3. Karpov V.E., Kotov A.A., Malakhov Denis G., Moscowsky A.D., Rovbo M.A., Sorokoumov P.S., Ushakov V.L., Velichkovsky B.M., Zinina A.A. Developing cognitive architecture of a multimodal wheelchair robotic system for disabled people // XVI European Congress of Psychology, 2 – 5 July 2019, Moscow, Russia, 2019
4. Rovbo Maxim, Moscowsky Anton, Sorokoumov Petr. Hierarchical Control Architecture for a Learning Robot Based on Heterogenic Behaviors // RCAI 2019 (17th Russian Conference on Artificial Intelligence), 2019 – pp.44-55
5. Karpov V.E., Malakhov Denis G., Moscowsky A.D., Rovbo M.A., Sorokoumov P.S., Velichkovsky B.M., Ushakov V.L. Architecture of a Wheelchair Control System for Disabled People: Towards Multifunctional Robotic Solution with Neurobiological Interfaces // Modern Technologies in Medicine, Number 1, Volume 11, 2019 – pp.90-102
6. Московский А.Д., Ровбо М.А., Шишкин С.Л., Карпов В.Э. Применение технологии отслеживания взгляда для управления роботизированным инвалидным креслом-коляской // IV международная научно-практическая конференция “Интеллектуальные и кибернетические технологии в науке, образовании и медицине” (ИКТНОМ-2019), МГГЭУ, 28–29 ноября 2019 г., 2019
7. Московский А.Д. Локализация подвижной платформы для проведения подспутниковых измерений на основе недоопределенных моделей // IX-я Международная научно-практическая конференция «Интегрированные модели и мягкие вычисления в искусственном интеллекте», 2019 – с.262-271
8. Сорокоумов П.С., Ровбо М.А. Библиотека логического вывода по семиотическому представлению данных / Программа для ЭВМ, №2019614116 от 28.03.2019 // Свидетельство о государственной регистрации программы для ЭВМ, 2019

2018

1. Ровбо М.А., Сорокоумов П.С. Архитектура системы управления интеллектуальным агентом на основе семиотической сети // Открытое образование, №5, т.22, 2018 – с.84-93