Гарвардцы создали приложение Mobilio для помощи слепым и слабовидящим в ориентировании со смартфона

Самостоятельное передвижение — ежедневная задача для слепых и слабовидящих. Исследователи из Гарварда представили приложение для смартфона, которое должно упростить ориентирование в городской среде, используя только устройство, которое у многих уже есть под рукой.

Инженеры Школы инженерных и прикладных наук Джона А. Полсона (SEAS) разработали приложение Mobilio. Оно сочетает методы машинного обучения, алгоритмы объединения данных с нескольких датчиков и персонализированные звуковые подсказки, чтобы давать пользователю пошаговые инструкции, вести по маршруту и помогать обходить препятствия. Исследование возглавил к.т.н. студент Рэймонд Лю в сотрудничестве с доцентом кафедры биоинженерии Патриком Слэйдом. Исследование опубликовано в журнале Nature Biomedical Engineering.

Для начала команда опросила более 100 слепых и слабовидящих людей, чтобы выделить наиболее важные функции навигации: надёжные пошаговые указания, непрерывное сопровождение по тротуарам и дорожкам и обнаружение препятствий с их обходом.

Традиционные средства — трости, собаки-поводыри и некоторые электронные помощники — частично решают эти задачи, но редко охватывают их все и часто недоступны из-за стоимости. Стандартные GPS‑карты дают пошаговую навигацию, но недостаточно точны для безопасного передвижения людей с нарушением зрения.

Учитывая широкое распространение смартфонов, команда решила реализовать навигацию в виде отдельного приложения, которое можно будет запускать прямо на телефоне.

Mobilio использует встроенные датчики телефона: камеру, GPS, инерциальный измерительный блок (IMU), чувствительный к движению и ориентации, и при наличии — датчик LiDAR. Ключевой технической особенностью стала собственная модель компьютерного зрения, анализирующая видеопоток с камеры с точки зрения пешехода для распознавания пешеходных путей в окружении пользователя.

«Наша система использует датчики смартфона, данные GPS и фактическое движение человека, чтобы по сути построить небольшой автономный план перемещения — как добраться из точки А в точку Б»,

Патрик Слэйд, доцент кафедры биоинженерии Школы инженерных и прикладных наук Джона А. Полсона, Гарвардский университет.

Поскольку большинство открытых наборов данных уличных сцен собирают с пола автомобиля, стандартные модели часто неверно классифицируют элементы инфраструктуры, важные для пешеходов. Для решения этой проблемы Лю обучил модель семантической сегментации на изображениях с видом пешехода, чтобы она надёжно определяла тротуары, пешеходные переходы, проезжую часть и другие ключевые поверхности во время ходьбы.

«Необходимо получить больше данных с точки зрения людей, идущих по тротуарам или на улице», — отметил Лю.

Авторы подчёркивают, что алгоритмы и модели работают в реальном времени на обычном смартфоне, который имеет значительно меньше вычислительной мощности, чем ноутбук или специализированное оборудование.

В отличие от простых голосовых подсказок, Mobilio использует непрерывные пространственные аудиосигналы: звуки исходит со стороны, в которую нужно направиться (слева или справа), чтобы указать направление. Навигация персонализируется в реальном времени: система измеряет, насколько точно пользователь следует подсказкам, и автоматически адаптирует сигналы и громкость под конкретного человека.

Для оценки приложения команда провела эксперименты с 14 добровольцами из Центра для слепых Кэрролла в Ньютоне (штат Массачусетс). Каждый участник выполнял навигационные задания сначала с базовой пошаговой навигацией Google Maps и белой тростью, а затем с Mobilio и тростью. Испытания включали заранее проложенный уличный маршрут и накрытый трек с препятствиями, имитирующими типичные экологические трудности.

Результаты показали, что с Mobilio и тростью участники прошли открытый маршрут примерно на 13 % быстрее, а число контактов с препятствиями на закрытом треке снизилось примерно на 41 %. По надёжности — то есть по способности последовательно приводить людей к месту назначения без серьёзных ошибок — Mobilio показал эффективность, сопоставимую с сопровождением человеком‑гидом.

Проект также имеет личную мотивацию: у Лю есть слепой старший брат, и поддержка независимой навигации близких во многом определила цели исследования.

Команда подчёркивает важность получения как количественной, так и качественной обратной связи от реальных пользователей при разработке таких систем.

«Важно тестировать устройство с реальными людьми, потому что предсказать поведение пользователей заранее невозможно», — добавил Лю, обращая внимание на разнообразие нарушений зрения и индивидуальные реакции.

Дальнейшие исследования включают тесты Mobilio в более широком диапазоне реалистичных условий в районе Бостона, чтобы оценить обобщаемость системы и её интеграцию в повседневные привычки пользователей. Разработку поддерживает Harvard Grid Accelerator для помощи в возможной последующей коммерциализации.

Проект финансировался стипендией для аспирантов Национального научного фонда DGE-2140743, Harvard Grid Accelerator, инициативой Amazon Greater Boston Tech Initiative, Конкурсным фондом декана Гарвардского университета для перспективных стипендий и Институтом Кемпнера.

Гарвардский отдел развития технологий оформил защиту интеллектуальной собственности по результатам исследования и ищет пути коммерческого применения.