Помощник (для слепых)

Принцип работы «помощника»: Пользователь запускает приложение, подтверждает соответствующие разрешения для доступа приложения к камере, микрофону и др. После приложение запускает себя в виде сервиса, что позволяет выйти из главного экрана приложения, постоянно сохраняя его активность.

В режиме сервиса приложение ожидает ключевые голосовые команды пользователя. Так, если пользователь скажет «помощник, что ты видишь?» - автоматически активируется тыловая камера и запустится процесс распознавания объектов, которые попали в объектив камеры, с голосовым информированием пользователя (например – “стол в центре, холодильник немного слева, стул немного справа”).

В итоге пользователь может «глазами» приложения «увидеть» объекты которые перед ним и определить примерное их расположение.

Процесс распознавания и голосового информирования происходит в режиме реального времени до того момента, пока пользователь не скажет «помощник стоп».

Получив такую команду, приложение прекратит распознавание и продолжит ожидания дальнейших команд.

Основные голосовые команды:

Помощник, ты меня слышишь? (чтобы убедиться в том, что сервис запущен)

Помощник, что ты умеешь? (расскажет о своих возможностях)

Помощник, сколько времени | который час? (сообщит текущее время)

Помощник, какой сегодня день? (сообщит день недели и дату)

Помощник, заряд батареи (сообщит уровень заряда батареи смартфона)

Помощник, расскажи новости (расскажет 5 главный новостей на текущий момент)

Помощник, первая | вторая | третья | четвертая | пятая новость (расскажет подробно новость)

Помощник включи радио Звезда | Россия (включит проигрывание интернет потока радиостанции)

Помощник, что ты видишь (запустит активность с камерой и начнет распознавать объекты попадающие в объектив тыльной камеры)

Помощник, стоп (остановит выполнение текущего действия – завершит проигрывание радио, прекратит распознавать объекты, перестанет рассказывать новости)

Важным моментом выступает то, что весь функционал приложения (кроме запроса текущих новостей и вещания радио) работает полностью локально (без необходимости доступа в Интернет). Ни какая информация не передается за пределы смартфона и не сохраняется на нем.

Планы:

1. поиск спонсоров для развития проекта.

2. сбор датасета с учетом отечественных реалий, его разметка, с последующим обучением модели распознавать гораздо качественнее и больше объектов (например тапочки, открытая или закрытая дверь, открытое или закрытое окно, выключатель, шторы, утюг, гладильная доска, стиральная машина, спички, хлеб, батон и многое другое).

3. расширение функционала взаимодействия с пользователем голосом (добавление возможности совершать звонки нужным контактами используя голосовые команды (например «помощник, позвони Елене» - приложение найдет контакт в списке контактов и наберет номер), (добавление возможности общаться с «помощником» на отвлеченные темы.).

4. Добавление доступных радиостанций.

5. Повышение качества распознавания голосовых команд.

ВАЖНО:

1. Для работы с «помощником» рекомендуется использовать хэндсфри или наушники . Это необходимо, чтобы «помощник» мог продолжать «слышать» пользователя в процессе произношения голосом информации об объектах, новостей, проигрывании радио и др.

2. По умолчанию, для России, в настройках смартфона установлен женский голос. Для комфортной работы с «помощником» рекомендуется сменить настройки синтеза речи в смартфоне как указано на фото инструкции.

3. Некоторые модели телефонов требуют, дополнительно, предоставить разрешение на показ всплывающих окон вручную. Предоставление данного разрешения нужно «помощнику», чтобы иметь возможность запустить камеру и начать распознавание объектов, даже если приложение не находится на переднем плане или экран смартфона выключен. Соответствующая фото инструкция также прикреплена.