Первая в мире функция отображения текста с активацией голосом

Mitsubishi Electric Corporation объявила о завершении разработки первой в мире технологии, сочетающей функции распознавания голоса и отображения текста. 

Технология позволит отображать произнесенные пользователями слова при проведении пальцем по экрану планшета или смартфона. Предполагается, что разработка будет комбинироваться с другими функциями, такими как создание рисунков и перевод на несколько языков, чтобы люди могли свободно общаться друг с другом, независимо от их физических возможностей и знания иностранных языков.

Коснуться и держать	Провести пальцем при произнесении фразы	Под пальцем появляются слова

Основные особенности

Первый в мире пользовательский интерфейс для отображения текста с активацией голосом:

• написание произнесенной фразы на дисплее устройства при касании для интуитивно понятного и приятного общения;
• простота и удобство применения, быстрый и понятный результат;
• возможность добавления других функций, позволяющих расширить области применения данной технологии.

Варианты применения в сочетании с другими функциями:

• данная технология может сочетаться с функцией рисования для создания более информативных, выразительных и понятных для аудитории иллюстраций, карт и графиков;
• будучи дополненной многоязычным переводом, технология позволит автоматически отображать произнесенные слова на других языках для безбарьерного общения с иностранцами.

Возможные применения

Люди с нарушением слуха не могут одновременно следить за артикуляцией и движениями рук собеседника. Поэтому им сложно понимать разговор, когда они вынуждены одновременно читать по губам и смотреть на то, что показывает другой участник разговора. Новая технология Mitsubishi Electric позволяет сконцентрироваться на дисплее и при этом не выпадать из разговора.

Ребенок с нарушением слуха общается с помощью отображаемой речи

При многоязычном переводе

Слова, изображенные на экране, могут автоматически переводиться и озвучиваться на других языках.

Туристы рисуют изображение сувенира и спрашивают, где его можно купить

С фоновыми изображениями

Чтобы лучше объяснить демонстрируемые на дисплее изображения, на них можно наложить текст с комментариями.

Врач дает пояснения по рентгеновскому снимку пациенту с нарушением слуха

Турист спрашивает у водителя такси, сколько времени займет путь до указанного пункта назначения

Распознавание рукописного текста

При двойном касании экрана система анализирует введенный рукописный текст и озвучивает написанные слова и/или переводит их. Это позволяет с комфортом общаться в шумной обстановке, а тем, кто говорит на разных языках, – без проблем понимать друг друга.

Сотрудник с нарушением слуха помогает иностранному посетителю
найти свое место в зале, где проводится мероприятие

Разделенный экран

Экран можно разделить на две части, чтобы общающимся, если они стоят или сидят лицом друг к другу, не приходилось постоянно разворачивать устройство. Эта особенность будет особенно актуальна, например, при использовании планшета на стойке регистрации.

Сотрудник учреждения объясняет иностранцу, как заполнить форму,
и отвечает на его вопрос

Операционная система

Android

Патенты

На технологии, о которых сообщается в данном пресс-релизе, заявлены 2 патента в Японии и 2 патента в других странах.

Регистрация разработки

Mitsubishi Electric является владельцем четырех прав на разработку данного проекта в Японии и четырех – за рубежом.