Как исследователи Назарбаев Университета работают над продвижением исследований по языкам жестов

Мир меняется очень быстро, так что люди уже привыкли ожидать, что существуют или будут существовать инновационные решения повседневных задач. К счастью, благодаря высокотехнологичным усилиям во всем мире, в том числе и в Казахстане, мы являемся свидетелями того, как мир вокруг нас становится "лучшим местом" для жизни. Независимо от того, идет ли речь о бизнесе, образовании, медицине, военной или социальной службе, есть множество людей, которые бросают себе вызов, чтобы найти пути решения проблем и вопросов, с которыми сталкивается наше общество. Так, сегодняшняя история будет об Ассистент Профессоре Школы инженерии и цифровых наук Назарбаев Университета.

Анара Сандыгулова, доктор компьютерных наук, работает ассистент профессором кафедры робототехники и мехатроники Школы инженерии и цифровых наук. В настоящее время она возглавляет исследовательский проект по системе автоматического распознавания казахского языка жестов, в скором времени K-SLARS. Проект уже начат и рассчитан на 36 месяцев при финансовой поддержке программы развития факультета НУ.

Анара Сандыгулова объяснила, что глухие общины во всем мире используют язык жестов в качестве первого языка, который не зависит от разговорного языка, используемого в этой стране. Например, американский язык жестов и британский язык жестов сильно отличаются друг от друга, несмотря на то, что разговорным языком этих стран является английский. Аналогичным образом, каждая страна или регион имеет свой собственный язык жестов с различной грамматикой и правилами, что приводит к нескольким сотням существующих сегодня языков жестов. В Казахстане насчитывается более 18 тысяч глухих и слабослышащих людей. По словам Анары, Казахстан имеет один язык жестов с Россией, Молдовой и другими странами региона СНГ, что, возможно, объясняется очень централизованной системой, которая раньше существовала вокруг всего Советского Союза.

"Исследования в области распознавания языка жестов, их генерирования и перевода обладают высоким потенциалом воздействия". В то время как автоматическое распознавание речи стало коммерчески доступным, автоматическое распознавание языка жестов все еще находится в зачаточном состоянии. Существует множество инновационных решений для поддержки разговорных языков (как устных, так и письменных), однако многие глухие люди не владеют разговорным языком стран, в которых они живут. Таким образом, они часто изолированы от общества и имеют социальные и коммуникационные барьеры во всех аспектах своей жизни. Если бы существовали решения по обработке речи, такие как размещение субтитров на YouTube для языков жестов с автоматической заменой текста на видеозаписи, глухие люди могли бы воспользоваться онлайновым контентом для получения новых компетенций. Однако одним из главных ограничений является наличие больших, обобщаемых, реалистичных наборов данных о языке жестов".

Анара объясняет, что "знаки в языках жестов состоят из фонологических компонентов, собранных по определенным правилам. Лингвисты выделяют следующие основные компоненты, присутствующие в знаках: формы рук, расположение на теле, движение, ориентация, мимика и образцы губ. Этот проект направлен на создание первого корпуса казахского языка знаков, который был бы подходящим для машинного обучения и лингвистических исследований. Как и любой набор видеоматериалов, ручная аннотация языков жестов (ручных и неручных компонентов) является чрезвычайно трудоемкой и ресурсоемкой. Мы стремимся создать полуавтоматический инструмент аннотации, который будет автоматически аннотировать ручные и неручные компоненты, тем самым способствуя более быстрому созданию аннотированных наборов данных. В то же время, алгоритмы будут в дальнейшем применяться для автоматического распознавания языка жестов для различных приложений взаимодействия человек-компьютер/робот", - отмечает Анара.

Основным мотивирующим фактором проекта является необходимость тщательной и систематической организации данных для обработки KSL. "Подобные наборы данных существуют и для других языков знаков во всем мире, но они часто достаточно ограничены по объему словарного запаса, изменчивости знаков, и содержат нереальные знаки, так как зачастую они медленнее и имеют более простую интерпретацию. Вот почему K-SLARS стремится собрать независимый, реалистичный набор данных, использующий техники краудсорсинга", - добавила она.

Исследовательский проект осуществляется на базе научно-исследовательских лабораторий Школы инженерии и цифровых наук Назарбаев Университета. В исследовании приняли участие несколько местных специалистов, в том числе магистранты и аспиранты. Мы тесно сотрудничаем с сурдопереводчиком, ассоциированным профессором Вадимом Киммельманом из Университета Бергена в Норвегии, чей опыт работы с русским сурдопереводчиком имеет решающее значение для успеха проекта. Ожидается, что проект обеспечит соблюдение принципов научной этики, этических процедур управления, поддержание высоких стандартов интеллектуальной честности и недопущение фальсификации научных данных, фальсификации, плагиата и ложного соавторства.

"Наша команда уже обеспечила две публикации на престижных международных конференциях". В конечном итоге проект будет иметь комбинацию программного обеспечения, наборов данных, ноу-хау и результатов, которые будут рассматриваться как интеллектуальная собственность", - сказала она. Ожидаемыми результатами станут новый набор данных по языку жестов и специальный веб-инструмент полуавтоматической аннотации для языков жестов.