Общество: В Великобритании ученые представили нейросеть, которая превращает текст в видео с жестовым языком
ru.espreso.tv:

Соответствующую статью опубликовали на ресурсе препринтов arXiv. Отмечается, что разработчики создали алгоритм, который может переводить текст жестовой речью.

В частности нейросеть отдельно учится качественно рисовать кисти рук, потому что именно они важны для точного сурдоперевода. "Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами.

После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать.

Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в  реалистичное видео ", - говорится в сообщении.

Нажмите, чтобы поделиться новостью
Будьте вежливы. Отправляя комментарий, Вы принимаете Условия пользования сайтом.

Текст комментария будет автоматически отправлен после авторизации

Настоятельно рекомендуем вам придерживаться вежливой формы общения, избегать любого незаконного, угрожающего, оскорбительного, непристойного или грубого обращения к другим посетителям ресурса.
Реклама
Читать дальше