Человек который переводит язык жестов
Робот-сурдопереводчик, слуховой аппарат-телепат, умные перчатки: 8 технологий для людей с нарушением слуха
Многие ИТ-компании занимаются созданием продуктов для улучшения качества жизни глухих и слабослышащих людей. Издание Digital Trends опубликовало подборку подобных стартапов, успех которых способен помочь многим людям, испытывающих сложности со слухом.
Проект Aslan
Исследователи-робототехники из Антверпенского университета в Бельгии разработали печатаемую на 3D-принтере руку, которая переводит устную и письменную речь на язык жестов. Устройство со встроенной веб-камерой распознаёт слова и сообщает их пользователю уже с помощью дактилологической азбуки, в которой каждой букве соответствует свой жест.
По словам создателей роботизированной руки, она не займёт много места и поместится в обычный рюкзак. Разработка ещё не доступна широкому кругу пользователей, но в будущем её можно будет распечатать всего за несколько сотен долларов.
Камера, выполняющая перевод с и на язык жестов
Чтобы состоялась полноценная коммуникация между людьми, которые могут общаться только на языке жестов, и теми, кто ручной азбукой не владеет, робот должен уметь переводить жесты в речь или текст и наоборот — в режиме реального времени.
Такую цель поставили разработчики стартапа из Далласа KinTrans. Робот, оснащённый 3D-камерой и микрофоном, распознаёт сказанное и показанное собеседниками, после чего быстро и точно переводит на противоположный язык. По словам авторов, система поддерживает несколько языков и уже способна распознавать тысячи слов, показанных жестами, с точностью до 98 процентов.
Умные перчатки
Исследователи Калифорнийского университета в Сан-Диего изобрели недорогие умные перчатки, не использующие дополнительных камер. Перчатки автоматически переводят американский язык жестов в текст в цифровом виде, который отображается на экране подключённого компьютера или смартфона.
Инновационная технология транскрибирования
Благодаря прогрессу в распознавании речи, с каждым годом совершенствуется технология перевода устной речи в письменную. Однако в ситуациях, когда в помещении одновременно разговаривает несколько человек, использовать её становится проблематично.
Предприниматели из Нидерландов запустили проект под названием SpeakSee на сайте Indiegogo. С помощью прикрепляемого к одежде микрофона и специальной технологии они выделяют речь конкретного человека из общего потока и приглушают любой фоновый шум. Далее создаётся расшифровка разговора, в которой реплики каждого из ораторов записаны определённым цветом. Расшифровку можно читать на смартфоне или планшете.
Слуховой аппарат-телепат
В Колумбийской школе инженерных и прикладных наук работают над «когнитивным слуховым аппаратом», который также будет полезен в переполненных комнатах. Устройство считывает ритмы мозговой активности своего владельца, после чего нейросеть определяет, на ком из говорящих он пытается сконцентрироваться. Нужный голос система делает более выразительным, приуменьшая громкость всех остальных. Пока что создатели слухового аппарата проводят испытания, и в случае успеха он сможет изменить к лучшему жизни многих людей.
Слуховой аппарат на солнечных батареях
В мире насчитывается около 400 млн людей с различными отклонениями слуха. Более половины из них проживает в странах с низким уровнем дохода, и многие просто не могут позволить себе слуховые аппараты или даже питающие их аккумуляторы.
Бразильский стартап Solar Ear создаёт слуховой аппарат, работающий на солнечной энергии. Заряда его батарей должно хватать на 2-3 года, тогда как обычные батареи держатся всего 7-10 дней. Несмотря на это, устройство отличается низкой стоимостью.
Слуховой аппарат-переводчик
Главное назначение традиционных слуховых аппаратов — направлять звук в ухо слабослышащего владельца. Сегодня появляются ещё более функциональные устройства, которые способны выполнять некоторые вычисления и почти моментально осуществлять машинный перевод между парами естественных языков. Демо-версии таких гарнитур уже представили стартапы Waverly Labs и Lingmo International.
Слуховой «жилет», передающий импульсы на кожу
Нейробиологи из Бэйлорского медицинского колледжа в Хьюстоне (Техас) разрабатывают жилет, который позволит глухим людям «слышать» через кожу. Устройство собирает поступающий на него звук с помощью смартфона пользователя и преобразует в вибрации, которые человек ощущает на коже. Со временем учёные надеются найти способ обучить владельцев жилета интерпретировать эти сигналы аналогично тому, как люди с нарушением зрения считывают рельефный шрифт Брайля. Для реализации проекта они запустили кампанию на Kickstarter.
Хотите сообщить важную новость? Пишите в Телеграм-бот.
А также подписывайтесь на наш Телеграм-канал.
«Жестовые языки различаются территориально и не только: страны с одинаковым звуковым языком могут иметь два различных жестовых языка; и наоборот, область в которой есть много звуковых языков, может присутствовать один общий жестовый.
Американский жестовый язык — амслен (ASL) имеет больше сходства с французским (LSF) и практически не имеет ничего общего с британским жестовым языком (BSL), хотя они и разделяют один и тот же звуковой язык — английский. Похожая ситуация присутствует и в Европе: несмотря на единый звуковой язык в Германии и Австрии (немецкий), австрийский жестовый язык (en:ÖGS) и германский жестовый язык (en:German Sign Language) представляют собой два не связанных друг с другом языка (более того, в относительно небольшой Германии насчитывается несколько диалектов DGS). В ЮАР, где существует 11 различных официальных языков, присутствует один-единственный жестовый язык»
В разных странах – разные жестовые языки глухих.
А вот, например, в Турции диктора – сурдопереводчика на ТВ не понимали совсем – политические жесты другие. С простыми глухими общались, но не совсем свободно.
Существует и искусственный международный жестовый язык, но им мало кто пользуется. В основном на международных мероприятиях.
(с)взято из ответов Майла
Найдены дубликаты
я как раз пару дней назад об этом думал.
не знал, что всё так сложно.
Одна глухая девушка, однажды улыбнулась мне и показала КОКОКОКО. Я только сейчас понял, что меня совращали
эм, но.. разве в языке жестов жест не равен целому слову? в большинстве случаев, и может было бы логично сравнить жесты для слов на разных языках?
чувак, не все слова имеют жестовый аналог, потому и существует азбука. и здесь сравниваются именно жесты для слов, да.
Поправьте, если ошибаюсь)
В Америке например жесты словами)
Ну это кретинизм какой-то на самом деле. Я ещё понимаю тех, кто из-за национальных предрассудков борется за сохранение своих языков, хоть это тоже тупо и никому ничего хорошего не несёт, но делать кучу языков жестов? Насколько велика должна быть гордыня людей, чтобы они не могли принять единый стандарт хотя бы в языке жестов, который использует меньшинство?
Так язык глухонемых формировался же тоже отдельно в каждой народности. В разных странах разные особенности, от этого и жесты разные.
Или вы думаете, что silent language начал формироваться после стремления к глобализации, а глухонемые такие, «нееееет, мы все по-разному будем говорить»
Насколько велика твоя гордыня, что ты не написал этот комментарий на эсперантно, или, на худой конец, хотя бы на английском?
Однако я был бы не против учить следующее поколение людей одному общему языку, если бы всемирно решили что все остальные тоже будут так делать. Это бы сделало их жизнь намного легче, а в некоторых случаях и вовсе в корне бы её изменило. А для нас это уже невозможно.
А теперь если по существу, глухонемые люди более универсальны в своем языке и более мультикультурны, чем люди, которые могут говорить. Глухонемой американец сможет понять глухонемного француза, к примеру. А вот неглухонемые люди будут орать друг перед другом, думая, что так понятней. Если русский глухонемой сможет как-нибудь адаптироваться к испанскому глухонемому и начать общаться, то говорящие русский и испанец будут весь вечер общаться на уровне «смотри, я показываю на стакан, ты понял о чем я?»
Так и чем языки глухих какие-то особенные, что для них такое административное решение по-вашему должно было бы сработать? Кстати, кто конкретно должен был решить, что в мире остаётся один язык?
Потому что он хочет чтобы все могли понять его комментарий
Поймёт только аудитория Пикабу, которая будет поменьше какого-нибудь китайского аналога. Ну или английского Реддита. Так и с языками глухих никакой разницы что-то я не вижу — тоже общаются на том языке, который принят в кругу общения.
Я думаю на реддите он бы не стал писать на русском, а написал бы на английском
Никак не пойму, это вы троллите или вам правда не хватает яхты по чину.
Я как капитан, объясню что если учить международный язык то с детства и серьёзно, нам уже достаточно взрослым уже нет смысла, очень сложно
Не так это и легко. Государства некоторые полезные всем конвенции принимают десятилетиями, либо вовсе не принимают, а тут фигак и язык надо всем разом одинаковый. Это нехилые такие затраты на общемировые конференции, существенное время на разработку общего языка, разработку программ обучения, их внедрение.
только не путайте жестовый язык и дактилологию(дактильный алфавит, который на второй картинке), это не одно и тоже
дактильный алфавит в жестовом языке используется для произнесения имен и каких-то названий, например географических, а всё остальное это жесты, которые значат отдельные слова
Как то передачку смотрел. Там говорилось, что не только разные жесты в разных языках но вплоть до отдельных диалектов доходит, в рамках одного языка.
Зачем проще если можно сложнее?
Ну так если они изначально глухие, то какая им разница если они не слышали?
ну да, это как переживать по поводу того, что ты не можешь ультрафиолет видеть
А вот по этому поводу я переживаю(
Моя мама долгое время работала переводчиком для глухонемых на фабрике, и когда мы смотрели кино Американское или Китайское( разборки в стиле кунг фу точно помню) то там процентов 70% было для нее понятно. ну как бы этого хватало чтобы понять общий смысл. ну в разборках там вообще только одна фраза можно сказать была
Отвечает господин Умневский: Это нецензурное слово, господин Ведущий, цензура Первого канала не позволит произнести это слово!))
Вот именно такой херни я не читал в час ночи, спасибо! Мне понравилось!
Без переводчика не обойтись.
«честно не знаю почему мне в голову пришла такая мысль»
Недавно в комментах под одним постом этот вопрос обсуждался
Я имел ввиду что возможно оттуда идея была взята
Мне кажется весь этот алфавит это ерунда и им мало кто пользуется.
Работаю на заводе, там есть глухонемые, видел как они общаются, но что то я сильно сомневаюсь что они там по буковке выдают, там скорее словами сразу + может по губам еще читают, не уверен)
Буквы используют редко и то, если слово которое им нужно произнести, нет в жестовом языке
Много им пользуется. С глухими сразу жестами разговаривают, а со слышащими по губам читают или письменно.)
насколько я знаю, с ними всё проще. это действительно просто шрифт, который предназначен для кодирования алфавита определенного языка. что накладывает те же ограничения, что и обычная письменность.
у глухонемых же жестами кодируются не отдельные буквы, а слова целиком. это отдельный язык, который МОГ БЫ быть и интернациональным.
Эти удивлённые глаза
Когда был студентом, общался с девушкой из Владимира. Вот как то ехал от неё домой в Москву на автобусе. Выезд был с утра рано, поэтому после ночи с девушкой, я уснул почти сразу как сел на свое место. Но тут сзади начали радоваться странные звуки, шуршание верхней одеждой будто хотят вытереть, а она не вытирается. Думаю сейчас закончат, но они все шуршали и шуршали. Через минут 10 я еле открыв один глаз, посмотрел кто же не даёт мне спать. Оказалось это были 2 глухонемых парня. Они радостно что-то обсуждают, и смеются беззвучно. Решил пусть общаются, как-нибудь усну. Но с каждым километров они все больше и больше шумели. Хотел осадить их в грубой форме, но подумал надо как-то потактичней попросить их не шуметь. Благо тогда уже был мобильный интернет, и я быстро посмотрел как на языке жестов будет: «Не шумите, пожалуйста». Потом медленно обернулся, и изобразил эти жесты. Таких удивлённых глаз я потом долго не видел, наверное их первый раз в жизни попросили не шуметь.
Ответ на пост «Глухонемой водитель такси»
Когда попадаются глухонемые пассажиры, благодарю их за поездку жестом «спасибо». Радуются как дети.
Жестам «извините» и «пока» тоже рады.
Надо бы ещё выучить «Я не владею языком жестов», а то они разговаривать со мной пытаются)
Ответ на пост «Можно потише?»
Лет 20 назад, на рыбалке, довелось делить поляну у реки с компанией глухонемых. Приехали они на двух машинах. Нива и что то из «классики». Перед этим искали лучшие места и одну из машин несколько помяли, поэтому были сильно возбуждены и эмоциональны.
Даже когда они ночью начинали в своей палатке гонять комаров, создавалось столько шума, что компания перепившихся рыбаков умерла бы от зависти.
Приходилось соседствовать с разными компаниями, но более шумной я не встречал ни до, ни после. Во всем остальном вполне хорошие соседи. Не плохо общались в меру возможности.
Переводит и показывает нейросеть: из устной речи в жестовую
Британские ученые обучили ИИ трансформировать устную речь в видео с виртуальным сурдопереводчиком. Алгоритм самостоятельно оценивает качество работы. Нейросеть поможет людям с частичной или полной потерей слуха улучшить восприятие контента и свободнее чувствовать себя на публичных мероприятиях.
В мире десятки миллионов глухих и слабослышащих людей, использующих жестовый язык как основное средство коммуникации. С одной стороны, в онлайн-мире проблема общения для слабослышащих людей решается при помощи субтитров. Но с другой — популярные сейчас вебинары, стримы и прочий контент приходится переводить на жестовый язык в режиме реального времени. Ученые давно исследуют эту проблему и ищут решение.
Сейчас исследователи смотрят в сторону нейротехнологий. В Университете Суррея разработчики создали алгоритм сурдоперевода нового поколения. ИИ преобразует устную речь в движения человеческого скелета. Затем скелету придают человеческий облик, и создается реалистичный видеоряд. С помощью технологии можно изготавливать видео и на основе текста.
К чему такие сложности и почему важно движение всего скелета? Язык жестов — это не только знаки руками, в нем задействованы все части тела и даже мимика. Технологии, которые использовались ранее, часто генерировали размытые модели, что приводило к искажению смыслов или вовсе непониманию речи виртуального сурдопереводчика.
Как устроена новая нейросеть
В основе алгоритма следующее: принимающий сигнал поступает в виде аудио, затем преобразуется в схематичную модель человеческого скелета, воспроизводящего соответствующими жестами речь. После этого последовательность поз подается сверточной нейросети U-Net. Сеть преобразует движения и позы в реалистичное видео.
Алгоритм работы виртуального сурдопереводчика
Чтобы добиться высоких результатов, ученые обучали нейросеть по видео реальных переводчиков жестового языка.
Для оценки получившейся модели разработчики провели эксперименты с участием добровольцев. Так, они попросили их сравнить новый метод с другими ранее используемыми способами трансформации речи. Из 46 человек — 13 являлись носителями языка жестов. Сравнение проходило по четырем параметрам, по каждому из которых новый алгоритм обошел по качеству предыдущие версии.
Результаты исследования на добровольцах
Не только британские ученые
Исследователи с начала века ведут разработки в области сурдоперевода. Один из самых известных продуктов — анимированный виртуальный переводчик от IBM. Но проект не получил развития. Несколько лет спустя его реинкарнировали в Новосибирске. Программа, придуманная учеными из Новосибирского академгородка, распознает речь, анализирует смысл и переводит на жестовый язык. Потом аватар показывает текст на экране.
Анимированный сурдопереводчик от новосибирских разработчиков
В то время считали, что разработка станет такой же популярной, как Google Translator. Сейчас протестировать программу можно в приложении «Адаптис» для AppStore и Google Play.
Скриншот приложения «Адаптис» в App Store
Несколько лет назад бельгийские ученые напечатали 3D-руку под управлением Arduino, которая также функционирует как сурдопереводчик. Проект назвали ASLAN. Рука состояла из 25 отдельных деталей из PLA-пластика. В перспективе к ней намеревались добавить еще одну руку и роботизированное лицо для передачи эмоций.
Перевод с языка жестов на привычный нам язык также представляет большие трудности. Российские ученые из Института проблем управления им. В.А. Трапезникова РАН (ИПУ РАН) несколько лет назад начали разработку подобного ИИ. Предполагалось, что в будущем он поможет перевести жесты в слова, фразы и буквы. Ученые тогда сообщили, что на создание алгоритма может уйти не один год.
Российская программа будет базироваться на площадке, созданной слабослышащей сотрудницей ИПУ РАН. Она несколько лет развивает сайт «Сурдосервер». Тогда же сообщалось, что российские ученые работают над мобильным приложением «Сурдосервис» и сурдооблаком для обмена информацией слабослышащими людьми.
Глухой программист из Новосибирска разработал автоматический переводчик с языка жестов
Глухой программист Алексей Приходько разработал систему, которая автоматически переводит язык жестов на русский язык. Технология позволяет управлять компьютером, не используя мышь. Работу над прототипом он закончил в начале августа.
Камера программы распознает картинку и фиксирует жесты, затем изображение переводится в модели и обрабатывается внутри системы. Система сопоставляет картинку с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод, сообщается на сайте Новосибирского государственного технического университета.
По словам Алексея Приходько, на данный момент есть много компаний, которые заявляют о собственных разработках переводчика для глухих, и некоторые даже продают свои решения. Но, из-за специфики жестового языка, все они недостаточно качественные для пользования, говорит программист, который сам не слышит с детства.
«Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», — говорит он.
Проблема связана с грамматикой языка жестов. Ни одна программа не может заменить живого переводчика, потому что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции), сообщается на сайте вуза.
«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существуют два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека.
Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — отметил Алексей Приходько.
Безмаркерная система, созданная программистом, при помощи специальных камер накладывает виртуальную «сетку» на изображение. На ней программные алгоритмы находят опорные точки, по которым определяются жесты. Затем система обрабатывает данные и воспроизводит заданные действия: перевод или управление.
«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — сказал программист.
В данный момент прототип переводит на уровне азбуки глухих. К защите кандидатской диссертации Алексей Приходько намерен обучить систему другим компонентам грамматики жестового языка, чтобы создать из нее готовый продукт для массового внедрения и использования людьми с нарушением слуха. Для доработки прототипа программист ищет инвесторов.
Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода жестового языка, сообщается на сайте Новосибирского государственного технического университета. Ранее он уже создавал технические решения для людей с нарушением слуха. В начале июля 2019 года он с командой создал проект для обучения глухих — «Жестовый интерфейс», в 2017 году – проект «Математика в тишине».
По данным Inc., ранее ученые из Калифорнийского университета в Сан-Диего разработали «умную» перчатку, которая автоматически переводит американский язык жестов (ASL) в текст на экране цифрового устройства. Стоимость гаджета не превысила 100 долларов.
Перчатки SignAloud: перевод жестов в слова
Наверняка каждый из нас был бы рад знать как можно больше иностранных языков. Помимо обучающей литературы, онлайн курсов и уроков, существует достаточно много технологий, устройств и приложений, которые этому всячески способствуют. Большинство разработок направлено на изучение устной речи и грамматики, в то время, как в мире живут миллионы людей, что используют для повседневного общения язык жестов. И вот овладеть таким языком бывает гораздо сложнее, чем иностранным.
Впрочем, такой дисбаланс обычно предшествует прогрессу. Столь многогранная ниша не могла долго оставаться свободной. И занять ее решили двое студентов Вашингтонского университета — Томас Прайор (Thomas Pryor) и Навид Азоди (Navid Azodi). Они придумали способ, делающий язык жестов более доступным для понимания другими. Юные изобретатели разработали систему, обеспечивающую возможность переводить «жестовую» речь в обычную устную.
Ребята создали продвинутые технологические перчатки SignAloud, состоящие из различных датчиков, отслеживающих малейшие движения пальцев, запястья и рук, имеющие беспроводной интерфейс Bluetooth для передачи собранных данных на ПК и специального программного обеспечения. Перчатки способны улавливать малейшие движения рук пользователя, считывать в движениях знаки языка жестов и после расшифровки полученных данных, преобразовывать их в устную речь посредством специального синтезатора.
Конечно же, устройство может быть эффективно использовано и когда нет возможности услышать полученный перевод – знаки языка жестов конвертируются в письменный текст. По Bluetooth перчатки пересылают информацию о жестах к центральному компьютеру, где с помощью статистической обработки данных решается, какое именно слово было «произнесено» в жесте. Анализ данных производится на основе обработки последовательной статистической регрессии.
Навид Азоди акцентирует внимание на том, что на данный момент в мире живет около 70 миллионов глухонемых людей, ежедневно использующих язык жестов. А ведь это многочисленная группа (к слову сказать, превышающая население Франции), которая рассеяна между людьми без подобных функциональных ограничений. И вопрос их постоянной коммуникации с остальными, является более чем актуальным, что, в свою очередь, ставит перед устройством дополнительные требования. Перчатки должны быть еще более комфортные, компактные и приспособленные к различным условиям эксплуатации.
Насчет внедрения устройства в повседневную жизнь Томас Прайор отмечает следующее:
Наши перчатки легкие, компактные и вполне эргономичные, чтобы их использовали как ежедневный аксессуар, подобно тому как используют слуховой аппарат или контактные линзы.
Конечно, на рынке существуют и другие устройства для перевода языка жестов, но действительно практичные продукты – большая редкость. Успех SignAloud заключается в легком и незамедлительном переводе языка жестов в устную речь. Сами перчатки не громоздкие, техническое устройство тоже не большое. Правда внешний вид SignAloud может показаться несколько несуразным (если только Вы не в костюме супергероя), но разработчики уже начали работать над более повседневным и приятным дизайном.
Перевод языка жестов – это само по себе впечатляющее достижение. Но создатели SignAloud не останавливаются на достигнутом. Они считают, что данная технология будет использоваться для успешных разработок в широком спектре других задач. Будет ли это медицинская сфера или виртуальная реальность — не известно. Но Прайор и Азоди надеются решительно изменить мир к лучшему.
На видео представлена работа демо-версии перчаток в исполнении их создателей.
На данный момент разработка существует только в виде прототипа и когда перчатки поступят в продажу остается загадкой. Кроме того перевод осуществляется пока только на английский язык.
Вот что говорит по-этому поводу Навид Азоди:
Имейте в виду, мы не зафиксировали все языки. До этого еще далеко. Английский язык — это нечто большее, чем простой набор слов или определенных фраз. И мы это прекрасно понимаем. Язык наполнен различными сложными грамматическими структурами. Чего хочется добиться в конечном результате? Дать возможность перчаткам SignAloud распознавать и обрабатывать большую часть языка жестов.
Друзья изобрели свои перчатки на территории студенческого кампуса, где они сейчас проживают. А работают юные дарования в общине для студентов-разработчиков CoMotion.